Stability AI, компанията, стояща зад популярния генератор на изображения Stable Diffusion, представи „Stable Virtual Camera“ – система с изкуствен интелект, която позволява трансформирането на обикновени изображения в триизмерни видеоклипове с реалистична дълбочина и перспектива.
„Виртуалната камера е дигитален инструмент, използван във филмопроизводството и 3D анимацията за заснемане и навигация на дигитални сцени в реално време“, обясняват от компанията. „Stable Virtual Camera надгражда тази концепция, като съчетава познатото управление на традиционните виртуални камери със силата на генеративния изкуствен интелект, за да предложи прецизен и интуитивен контрол върху 3D видео резултатите.“
Технологията може да генерира 3D видеа с продължителност до 30 секунди, като потребителите могат да използват между 1 и 32 референтни изображения. Системата поддържа 14 различни движения на камерата, включително 360-градусови видеоклипове, спираловидно движение, приближаване (zoom-in), отдалечаване (zoom-out) и др.
Stable Virtual Camera работи с различни формати изображения – например квадратни (1:1), портретни (9:16) или пейзажни (16:9). Това е изненадало изследователите, тъй като моделът е бил обучен само с квадратни изображения с резолюция 576×576 пиксела. Независимо от това, системата е успяла сама да се адаптира към различните размери.
Въпреки впечатляващите си възможности, технологията все още изпитва затруднения при точното възпроизвеждане на хора, животни и динамични елементи, като например водни повърхности, посочват от компанията. Освен това, при неясни сцени, сложни движения на камерата или обекти с неправилна форма могат да се появят визуални артефакти.
Системата е на разположение за изследователи с лиценз за некомерсиална употреба, като теглата на модела са свободно достъпни в Hugging Face, а изходният код – в GitHub. В платформата Hugging Face е налична и публична демо версия за всички, които искат да експериментират с технологията.
Въпреки огромния успех на моделите за генериране на изображения Stable Diffusion, Stability AI се сблъсква с нарастваща конкуренция както от страна на проекти с отворен код като Flux, така и от затворени решения като GPT-4o на OpenAI. В отговор на това компанията преориентира своите усилия към изследвания в областта на 3D обработката, като същевременно разработва оптимизирани AI модели за устройства с ниска консумация на енергия, като смартфони.
Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!
Споделете: