AI Bulgaria AI Bulgaria

Lipdub от Captions, AI приложение за превод и дублиране на видео

Lipdub

Captions, стартъп за редактиране на видео с изкуствен интелект, представи своя нов продукт Lipdub.

Приложението, което към момента е в pre-order за iOS, предлага възможност за превод и дублиране на видеоклипове на 28 езика. Макар че са споменати езици като френски, испански, италиански, португалски, японски, хинди и др., не успяхме да намерим информация дали българският език е сред тях.

Основните характеристики на Lipdub включват запис и превод на видеа в реално време. Приложението осигурява синхронизация между гласа и движенията на устните въз основа на избрания език. Според информацията, предоставена от компанията, в момента приложението обработва видеоклипове с максимална дължина от една минута, в които участва само един човек.

Допълнително, преведените видеоклипове ще могат да бъдат споделяни в платформи като YouTube, TikTok и Instagram Reels.

Captions

Основното приложение на компанията се нарича Captions и е налично за iOS и Windows. То предлага както безплатна, така и про версия. С него можете:

  • да премахвате паузи с AI Trim,
  • да коригирате погледа си към камерата чрез AI Eye Contact,
  • да подобрите аудиото с AI Enhance Speech,
  • да добавите динамични емотикони с AI Emojis,
  • да акцентирате върху определени части от видеото с AI Spotlight,
  • и да добавите автоматични субтитри с помощта на speech-to-text технологията на OpenAI.

В Windows версията, например, можете да използвате функциите за AI Eye Contact, компресиране на видеоклипове и добавяне на субтитри напълно безплатно.

Много от кратките видеа, които виждате в TikTok, Instagram и YouTube, използват Captions за субтитри, емотикони и видео редактиране.

ElevenLabs и SeamlessM4T от Meta

Старта на Lipdub настъпи само няколко часа след като конкурентът ElevenLabs, предлагащ най-добри AI технологии за глас, обяви своята собствена функция за дублиране на предварително записани видеа с изкуствен интелект, поддържаща над 20 говорими езика, включително български.

Но ElevenLabs не е единственият конкурент на Captions в областта на дублирането с изкуствен интелект и редактирането на видео/аудио.

Meta наскоро представи SeamlessM4T – отворен модел, който може да разбира близо до 100 езика от реч или текст и да генерира преводи в реално време.

Целта на AI Bulgaria е да предоставя актуална и стойностна информация от света на изкуствения интелект (AI). Последвайте ни в социалните мрежи – Facebook, Instagram, X, LinkedIn и се присъединете към нашия Discord сървър!

ТАГОВЕ:  
Остави коментар