🔈 Adobe представили свою ИИ-модель для добавления звуковых эффектов в видео.

MultiFoley сгенерирует звук для видео, основываясь на текстовой подсказке, аудио- или видеопримере.

Модель отличается высоким качеством звука с частотой 48 кГц и точной синхронизацией между видео и генерируемым звуком.

Этого удалось добиться с помощью специального механизма. Он анализирует визуальные особенности со скоростью 8 fps, а затем масштабирует их в соответствии с частотой дискретизации звука 40 Гц.

Код обещают в ближайшее время.