Google представи своя най-нов AI модел за генериране на видео, наречен Lumiere.
Той е мултимодален, което означава, че може да създава видеоклипове от различни видове входни данни, като текст и изображения. Lumiere е разработен, за да отговори на предизвикателство в областта на видеосинтеза, а именно създаването на „реалистично, разнородно и последователно движение“, се посочва в статията от Google Research.
Може би сте забелязали, че моделите за генериране на видео обикновено предоставят накъсано видео, но подходът на Google осигурява по-плавно изживяване, както се вижда във видеото по-долу.
Lumiere може да генерира петсекундни видеоклипове с разделителна способност 1024 пиксела на 1024 пиксела, като използва нова техника, наречена Space-Time U-Net, която му позволява да генерира цяло видео наведнъж, вместо да създава ключови кадри и след това да запълва пропуските.
Lumiere може също така да анимира съдържанието на дадено изображение в рамките на определена област и дори да се използва за редактиране на вече съществуващи клипове.
Според Google, Lumiere се справя по-добре от известни AI модели за видео, включително ImagenVideo, Pika и Runway Gen-2. При тестовете моделът е надминал конкурентите си във всички категории, включително качеството на текста към видеото, изображение към видео и синхронизация на текст.
Lumiere все още не е пуснат за масова употреба, но ако искате да научите повече, можете да посетите уебсайтът на проекта, където можете да видите множество демонстрации.
Това не е първият AI модел за генериране на видео, разработен от Google. В края на 2023 г. технологичният гигант представи VideoPoet, а година по-рано, през октомври 2022 г. – ImagenVideo.
Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!
Споделете: