Stability AI анонсира Stable Video Diffusion – своя първи основополагащ AI модел (foundation model) за генеративно видео. Той е базиран на Stable Diffusion и е най-новото допълнение към разнообразната гама от модели с отворен код на Stability AI, които обхващат различни модалности, включително изображения, текст, аудио, 3D и код.
Stable Video Diffusion е пуснат под формата на два модела за преобразуване на изображения във видео. Първият, наречен SVD, е обучен да генерира 14 кадъра с разделителна способност 576×1024. Вторият, SVD-XT, има същата архитектура като SVD, но е настроен да генерира 25 кадъра.
Съгласно доклада, публикуван от Stability AI, SVD и SVD-XT първоначално са били обучени върху набор от данни от милиони видеоклипове, а след това са били “фино настроени” върху много по-малък набор от стотици хиляди до около един милион клипа.
Според тестовете проведени от компанията, Stable Video Diffusion дори надминава утвърдени AI генератори на видео, като Runway Gen-2 и Pika Labs.
Към момента Stable Video Diffusion е наличен в бета-версия, като кодът на модела е наличен в GitHub хранилището на Stability AI. Теглата, необходими за локалното изпълнение, могат да бъдат намерени в HuggingFace. По-подробна информация за техническите възможности на модела можете да намерите тук.
Също така можете да се запишете за ранен достъп до предстоящо уеб приложение за текст към видео. От Stability AI твърдят, че то ще има практическо приложение в множество сектори, включително рекламата, образованието, развлекателната индустрия и др.
Stable 3D
Друг продукт, който беше представен от Stability AI по-рано този месец е Stable 3D – инструмент за генериране на 3D модели от текст или изображения. Към момента той в бета-версия и е достъпен чрез подаване на заявка. Stable 3D позволява генерирането на модели в .obj формат, които могат да бъдат допълнително редактирани и подобрени в 3D инструменти като Blender и Maya или да бъдат импортирани в игрови енджини (например Unreal Engine 5 или Unity).
Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!
Споделете: