Anthropic представила способ аварийного приостановления развития искусственного интеллекта

Anthropic призывает к «самоограничению» развития ИИ

Компания Anthropic, известная своими усилиями в области этики искусственного интеллекта, вновь оказалась в центре внимания после конфликта с Пентагоном в начале года. На этой неделе стартап обратился к представителям отрасли с просьбой о готовности ограничивать развитие технологий, если они начнут представлять угрозу потери контроля человеком.

Ключевые тезисы обращения

* Полностью рекурсивное самосовершенствование ИИ может привести к тому, что системы станут создавать своих «преемников» без участия человека.
* В таком случае критически важными становятся возможности мониторинга и ограничения поведения этих систем.

> «Если системы обретают способность самостоятельно создавать своих преемников, большое значение обретает наша способность контролировать, мониторить их и ограничивать их поведение», — говорится в заявлении Anthropic.

Почему это важно?

В прошлом месяце более 80 % нового кода, использованного компанией, было сгенерировано её собственным агентом Claude. Это подтверждает, что Anthropic знает, о чём говорит: если ИИ сам создаёт новые версии себя, контроль над ним становится всё сложнее.

Представители стартапа считают, что всем миру необходимо иметь возможность замедлить или приостановить разработку передовых моделей, чтобы дать обществу время адаптироваться и проанализировать изменения. При этом координация действий всех участников рынка критична: без согласованных мер недобросовестные игроки могут навредить общественной безопасности.

Планы компании

* В ближайшие месяцы Anthropic намерена разрабатывать инструменты мониторинга опасных тенденций в развитии ИИ.
* Параллельно будет вести общественную работу по обсуждению регуляторных механизмов и созданию надзорного органа, который сможет вводить режим «самоограничения».

Как подчёркивает компания, одна организация не может изменить ситуацию самостоятельно. Необходима совместная работа всех ведущих разработчиков ИИ для обеспечения безопасного развития технологий.