Google DeepMind представи нова технология за генериране на аудио към видео

DeepMind, лабораторията за изкуствен интелект на Google, представи V2A (Video-to-Audio), нова впечатляваща технология, която може автоматично да генерира реалистични звуци, включително музика, звукови ефекти и диалози за видеоклипове без звук.

We're sharing progress on our video-to-audio (V2A) generative technology. 🎥

It can add sound to silent clips that match the acoustics of the scene, accompany on-screen action, and more.

Here are 4 examples – turn your sound on. 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62

— Google DeepMind (@GoogleDeepMind) June 17, 2024

Моделите за генериране на видео се развиват с невероятни темпове, но повечето от тях създават видеоклипове без звук. Именно това е и проблемът, който учените от DeepMind искат да решат.

V2A може да генерира аудио за всякакъв вид видео, от традиционни видеоматериали като исторически кадри или неми филми до такива, генерирани от изкуствен интелект. Технологията може да се използва в комбинация с видео генератори като Veo на DeepMind или тези от конкурентите като Sora, KLING, Dream Machine или Gen 3 за добавяне на драматична музика, реалистични звукови ефекти или диалози.

*Примерите са генерирани с Veo, моделът за генериране на видео на DeepMind, а аудиото от V2A.

Важно е да отбележим, че технологията все още не е публично достъпна. От DeepMind планират да съберат обратна връзка от „водещи артисти и филмови дейци, за да гарантират положителното й въздействие върху творческата общност“. Освен това моделът ще бъде подложен на строги тестове за безопасност, за да се предотвратят евентуални злоупотреби, посочват от компанията.

Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!