AI Bulgaria

Nvidia използва Apple Vision Pro в разработката на хуманоидни роботи от ново поколение

Nvidia Apple Vision Pro
Image: Nvidia

Nvidia демонстрира как използва очилата за смесена реалност (mixed reality) Apple Vision Pro, за да ускори разработването на хуманоидни роботи. Инициативата, която е част от т.нар. „Project GR00T“, се фокусира върху един от главните проблеми при разработката на роботи, а именно липсата на висококачествени данни за обучение.

Обучението на хуманоидни роботи е голямо предизвикателство, тъй като, за да оперират ефективно в човешка среда, те трябва да разбират законите на физиката, а това изисква примери от реалния свят. Проектът GR00T, който беше представен по време на конференцията GTC 2024, има за цел да реши именно тези проблеми, позволявайки на роботите да “интерпретират мултимодални инструкции (език, видео и демонстрации), за да се ориентират, адаптират и взаимодействат с реалния свят”.

Джим Фан, старши мениджър на изследванията и ръководител на отдела “Embodied AI” в Nvidia, разкри ключовата роля на Apple Vision Pro в този процес. “Използваме Vision Pro, за да предоставим на операторите контрол върху хуманоидните роботи от първо лице”, обясни той. Така те могат да ги управляват от разстояние и да изпълняват ежедневни задачи, като например приготвяне на препечени филийки или изваждане на предмети от шкафове. “Vision Pro проследява движенията на човешката ръка и ги предава на робота в реално време”, поясни Фан, като добави, че операторът се чувства сякаш “потопен в чуждо тяло, подобно на Аватар”.

Събраните от Apple Vision Pro примери след това се умножават по “1000 или повече” с помощта на генеративна симулация, наречена RoboCasa. Това се постига чрез промени във визуалния вид и оформлението на средата. Накрая тези данни се мултиплицират допълнително чрез техника, наречена MimicGen, която генерира огромен брой нови траектории на действие въз основа на оригиналните човешки данни, обяснява Фан.

Image: Nvidia

Чрез комбиниране на данни, генерирани от хора, със синтетични такива, компанията има за цел да създаде хуманоидни роботи, които разбират законите на физиката и могат да взаимодействат естествено с човешката среда. Или както наскоро заяви главният изпълнителен директор на Nvidia, Дженсън Хуанг:

Следващата вълна на изкуствения интелект ще бъде физическа, ще се интегрира в човешката среда и ще разбира законите на физиката.

Във връзка с това, само преди дни Nvidia стартира нова програма, в рамките на която ще предостави достъп до услуги, модели и платформи на водещи производители на роботи. Това, според технологичния гигант, ще позволи “разработването, обучението и създаването на следващото поколение хуманоидни роботи”.

Програмата, която се нарича “Humanoid Robot Developer Program”, ще предостави ранен достъп до платформи и услуги като Nvidia Isaac Sim, Nvidia Isaac Lab, Jetson Thor и Project GR00T, а сред първите участници са 1x, Boston Dynamics, ByteDance Research, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra и Skild AI.

Последвайте ни в социалните мрежи – FacebookInstagramX и LinkedIn!

Остави коментар


The reCAPTCHA verification period has expired. Please reload the page.

Абонирайте се за нашите седмични бюлетини

Получавайте всяка неделя в 10:00ч последно публикуваните в сайта статии

Бюлетини: