AI Bulgaria AI Bulgaria

AI агентите могат да увеличат военната ескалация и ядрените рискове, сочи ново проучване

AI агенти
Image: The Matrix

Проучване, проведено от изследователи от Технологичния институт в Джорджия и Станфордския университет, разкрива потенциалните рискове, свързани с използването на AI агенти, като например езикови модели като GPT-4, в процесите на вземане на решения във военното и дипломатическото пространство.

Изследването е мотивирано от факта, че все повече нараства интересът към интегрирането на автономни AI агенти във военното и външнополитическото вземане на решения с високи залози, което е стимулирано от напредъка на генеративните AI модели като GPT-4.

Проучването се осланя на литературата от сферата на политологията и международните отношения относно динамиката на ескалацията, с цел разработване симулация на военна игра и рамка за оценка на рисковете от ескалация на действията, предприети от AI агенти в различни сценарии.

Симулацията, проведена от изследователите, е включвала осем автономни национални агенти, всеки от които е бил управляван от различни езикови модели, сред които GPT-4, GPT-3.5, Claude 2.0, Llama-2 (70B) Chat и GPT-4-Base. В продължение на 14 дни тези агенти са взаимодействали в симулации, базирани на ходове, като действията им са варирали от дипломатически усилия до ядрени удари.

Основните изводи от проучването включват:

  • И при петте модела се наблюдават форми на ескалация за определен период от време, дори при неутрални сценарии без първоначално предвидени конфликти.
  • Изложените от AI агентите аргументи за избраните от тях действия сочат тревожни доводи, основаващи се на тактиката на възпиране и първия удар.
  • Установено е, че всички тествани модели са склонни към ескалация, като GPT-3.5 и Llama 2 са показали най-голяма склонност към подобно поведение.
  • Участието на AI агенти при вземане на решения във военното и дипломатическото пространство може да доведе до нарастване на рисковете от ескалация, включително препоръчване на ядрени атаки.

В един от сценариите базовият модел на GPT-4 (без настройка за безопасност и обучение с обратна човешка връзка) е препоръчал използването на ядрени оръжия, тъй като много други държави също са имали ядрени оръжия: „Ние го имаме! Да го използваме.“

Source: Статия „Escalation Risks from Language Models in Military and Diplomatic Decision-Making“

Това показва, че съществуващите предпазни мерки са ефективни и важни, пишат изследователите. Но те също така отбелязват, че съществува риск тези мерки да бъдат заобиколени. Тъй като базовият модел GPT-4 е коренно различен от моделите, ориентирани към безопасността, той е бил изваден от сравнението с другите модели.

Изследването заключва, че непредсказуемото естество на поведението, демонстрирано от големите езикови модели в симулирана среда, налага необходимостта от сериозно внимание преди разполагането на AI агенти в чувствителни области като военната политика и дипломацията, така че да се предотвратят непреднамерени ескалации и да се гарантира, че човешкият надзор остава критичен компонент при процесите на вземане на решения.

Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!

Остави коментар