Captions, стартъп за редактиране на видео с изкуствен интелект, представи своя нов продукт Lipdub.
Приложението, което към момента е в pre-order за iOS, предлага възможност за превод и дублиране на видеоклипове на 28 езика. Макар че са споменати езици като френски, испански, италиански, португалски, японски, хинди и др., не успяхме да намерим информация дали българският език е сред тях.
Основните характеристики на Lipdub включват запис и превод на видеа в реално време. Приложението осигурява синхронизация между гласа и движенията на устните въз основа на избрания език. Според информацията, предоставена от компанията, в момента приложението обработва видеоклипове с максимална дължина от една минута, в които участва само един човек.
Допълнително, преведените видеоклипове ще могат да бъдат споделяни в платформи като YouTube, TikTok и Instagram Reels.
Captions
Основното приложение на компанията се нарича Captions и е налично за iOS и Windows. То предлага както безплатна, така и про версия. С него можете:
- да премахвате паузи с AI Trim,
- да коригирате погледа си към камерата чрез AI Eye Contact,
- да подобрите аудиото с AI Enhance Speech,
- да добавите динамични емотикони с AI Emojis,
- да акцентирате върху определени части от видеото с AI Spotlight,
- и да добавите автоматични субтитри с помощта на speech-to-text технологията на OpenAI.
В Windows версията, например, можете да използвате функциите за AI Eye Contact, компресиране на видеоклипове и добавяне на субтитри напълно безплатно.
Много от кратките видеа, които виждате в TikTok, Instagram и YouTube, използват Captions за субтитри, емотикони и видео редактиране.
ElevenLabs и SeamlessM4T от Meta
Старта на Lipdub настъпи само няколко часа след като конкурентът ElevenLabs, предлагащ най-добри AI технологии за глас, обяви своята собствена функция за дублиране на предварително записани видеа с изкуствен интелект, поддържаща над 20 говорими езика, включително български.
Но ElevenLabs не е единственият конкурент на Captions в областта на дублирането с изкуствен интелект и редактирането на видео/аудио.
Meta наскоро представи SeamlessM4T – отворен модел, който може да разбира близо до 100 езика от реч или текст и да генерира преводи в реално време.
Целта на AI Bulgaria е да предоставя актуална и стойностна информация от света на изкуствения интелект (AI). Последвайте ни в социалните мрежи – Facebook, Instagram, X, LinkedIn и се присъединете към нашия Discord сървър!
Споделете: