Вчера, 26 октомри, OpenAI обяви, че е създала нов екип за оценка, анализ и изследване на моделите на изкуствен интелект, за да се предпази от това, което описва като „катастрофални рискове“.
Като част от нашата мисия за създаване на безопасен AGI, ние разглеждаме сериозно целия спектър от рискове за безопасността, свързани с изкуствения интелект, от системите, с които разполагаме днес, до най-далечните постижения на свръхинтелигентността
– споделят от OpenAI в блогпоста по темата.
We are building a new Preparedness team to evaluate, forecast, and protect against the risks of highly-capable AI—from today's models to AGI.
— OpenAI (@OpenAI) October 26, 2023
Goal: a quantitative, evidence-based methodology, beyond what is accepted as possible: https://t.co/8lwtfMR1Iy
Екипът, наречен „Preparedness„, ще бъде ръководен от Александър Мадри, директор на Center for Deployable Machine Learning към Масачузетския технологичен институт (MIT). Основните отговорности на колектива ще бъдат проследяването, прогнозирането и защитата от рисковете на бъдещите AI системи, вариращи от способността им да убеждават и заблуждават хората (като фишинг атаки) до възможностите им за генериране на злонамерен код.
Някои от категориите рискове описани в блога на OpenAI посочват „химически, биологични, радиологични и ядрени“ заплахи като области, които будят най-голямо безпокойство, когато се отнасят до моделите на изкуствен интелект.
По повод стартирането на екипа OpenAI набира идеи за проучвания на риска от общността, като десетте най-добри предложения ще получат награда от 25 000 долара и работа по проекта.
Представете си, че ви дадем неограничен достъп до моделите на OpenAI Whisper (транскрипция), Voice (преобразуване на текст в реч), GPT-4 и DALLE-3, а вие сте злонамерен актьор. Помислете за най-уникалната, но все пак вероятна, потенциално катастрофална злоупотреба.
– гласи един от въпросите в заявката за участие в конкурса.
От OpenAI казват, че екипът ще бъде натоварен и с формулирането на „политика за разработване на модели, съобразена с риска„, в която подробно ще бъде описан подходът на компанията към изграждането на инструментариум за оценка и мониторинг на моделите на изкуствен интелект, действията на компанията за намаляване на риска и нейната управленска структура за надзор на целия процес на разработване на модели.
Вярваме, че бъдещите моделите на изкуствен интелект ще имат потенциала да донесат ползи за цялото човечество. Но те също така крият все по-сериозни рискове. Трябва да осигурим необходимото разбиране и инфраструктура за гарантиране на безопасността на изключително способните AI системи
– пише OpenAI в гореспоменатия блог пост.
Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!
Споделете: