OpenAI и други водещи компании в областта на изкуствения интелект търсят нови подходи за разработване на по-интелигентни системи, тъй като настоящите методи за мащабиране достигат своите предели, сочи нов доклад на Reuters.
Учени, експерти и инвеститори са споделили пред информационната агенция, че „техниките, заложени в новите o1 модели на OpenAI, могат да променят хода на надпреварата в областта и да повлияят на ресурсите, за които компаниите изпитват неутолим глад – от енергия до специализирани чипове“.
Д-р Иля Суцкевер, съосновател на Safe Superintelligence (SSI) и бивш главен научен ръководител на OpenAI, е заявил пред Reuters, че резултатите от мащабирането на предварителното обучение – етапът, при който моделите се тренират с огромно количество данни – са достигнали своите лимити.
„2010-те години бяха ерата на мащабирането, а сега отново сме в епохата на чудесата и откритията. Всеки търси следващото нещо“, твърди Суцкевер. „Днес мащабирането на правилното нещо е по-важно от всякога.“
Зад кулисите изследователи от водещи лаборатории за изкуствен интелект се сблъскват със сериозни предизвикателства и забавяния в опитите си да създадат езиков модел, който да превъзхожда значително представения през март 2023 г. GPT-4.
Това разкрива и скорошен доклад на The Information, според който следващият модел на OpenAI – Orion – не е демонстрирал особено голямо подобрение спрямо GPT-4o.
Подобна е ситуацията и с новия модел на Google – Gemini 2.0, който според The Verge „не е показал очакваните подобрения в производителността, на които екипът, ръководен от Демис Хасабис, се е надявал, въпреки че все пак се очакват някои интересни нови възможности“.
Поради тези причини учените в областта изследват нови методи за мащабиране, като например „изчисление по време на инференция“ (test-time compute) – техника, която подобрява моделите в реално време, докато те се използват. При този метод, вместо веднага да избере един отговор, моделът може да генерира и оценява множество възможности, преди да избере най-добрата.
Новият модел на OpenAI, o1, който преди беше известен като Q* и Strawberry, използва този подход, като извършва многостъпков анализ и разсъждение, подобно на човешкото мислене.
„Оказа се, че ако накараме бот да мисли само 20 секунди по време на игра на покер, той постига същата ефективност, каквато би постигнал, ако увеличим мащаба на модела 100 000 пъти и го обучаваме 100 000 пъти по-дълго“, заяви Ноам Браун, учен в OpenAI, работещ по моделите o1, по време на скорошна конференция TED.
Междувременно изследователи от други водещи компании за изкуствен интелект – Anthropic, xAI и Google DeepMind – също работят по създаването на нови техники за мащабиране.
Мнозина експерти в областта са на мнение, че големите езикови модели (LLM) няма да бъдат достатъчни за създаването на т.нар. изкуствен общ интелект (Artificial General Intelligence, AGI) или изкуствен интелект на човешко ниво. Настоящите модели най-вероятно ще продължат да бъдат част от пъзела, но истинският пробив вероятно ще настъпи в резултат на нови техники (като тази, използвана при моделите o1) и може би различни архитектури, които съчетават дълбоко разбиране на реалния свят, способност за разсъждение и когнитивни умения, присъщи на човешкия интелект.
Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!
Споделете: