OpenAI создает команду для предотвращения рисков
Компания OpenAI создала команду, занимающуюся выявлением и предотвращением рисков, связанных с искусственным интеллектом. Это может привести к приостановке запуска модели ИИ, если она будет сочтена слишком опасной.
Такое заявление сделали спустя всего месяц после увольнения начальника создателя разговорного интерфейса ChatGPT Сэма Альтмана, который был восстановлен в должности спустя несколько дней.
По данным нескольких американских СМИ, члены совета директоров критиковали его за то, что он выступал за ускоренное развитие OpenAI, даже если это означало уклонение от некоторых вопросов о возможных излишествах ИИ.
Команду по обеспечению готовности возглавит компьютерный ученый Александр Мадри. Он работал профессором в Массачусетском технологическом институте (MIT), но взял отпуск. Так говорится в сообщении, опубликованном академиком на сайте X (бывший Twitter) в понедельник.
В основу работы группы будет положена рабочая схема, определенная в опубликованном в понедельник документе. Там же прописаны сфера деятельности и процедуры.
Новая группа сосредоточится на так называемых "пограничных моделях" (frontier models). Сейчас они находятся в стадии разработки, но потенциально обладают возможностями, превосходящими самые передовые программы искусственного интеллекта.
"Мы считаем, что научное изучение рисков катастроф, связанных с ИИ, не доведено до совершенства", - объясняют представители OpenAI в документе.
По их словам, создание рамочной основы должно "помочь устранить этот пробел". Команда будет оценивать каждую новую модель и присваивать ей уровень риска по четырем основным категориям.
Первая касается кибербезопасности и способности модели осуществлять крупномасштабные кибератаки.
Вторая - склонность программного обеспечения к созданию химических смесей, организмов (например, вируса) или ядерного оружия, которые могут нанести вред человеку.
Третья категория связана со способностью модели к убеждению, то есть с тем, насколько она может повлиять на поведение человека.
Последняя категория рисков касается потенциальной автономности модели, например определения возможности ее эксфильтрации. Это равносильно выходу модели из-под контроля создавших ее программистов.
После выявления риски будут представлены Консультативной группе по безопасности (Safety Advisory Group, SAG) - новому органу, который будет давать рекомендации Сэму Альтману или назначенному им лицу. Затем глава OpenAI примет решение об изменениях, которые необходимо внести в модель, чтобы снизить связанные с ней риски. Совет директоров будет постоянно получать информацию и сможет отменить решение руководства.
Полный список недобросовестных брокеров, с которыми мы не рекомендуем работать, доступен по ссылке.
(0) Комментарии: