Anthropic обновила политику использования для противодействия рискам ИИ-агентов

Компания Anthropic объявила ^[1] о важном обновлении своей Политики использования, которое вступит в силу 15 сентября. Изменения отражают растущие возможности ИИ-продуктов, в частности, агентов. 

Цель обновления — предоставить пользователям более чёткое представление о правилах использования Claude по мере развития этой технологии. Anthropic даже описывает Политику использования как «живой документ», который будет продолжать меняться по мере развития рисков, связанных с ИИ.

Обновление добавляет в политику новый раздел, посвящённый возможностям агентов. Новые инструменты, такие как Claude Code и Computer Use, создают и риски. Политика использования теперь запрещает действия, в том числе вредоносные, направленные на компрометацию компьютеров, сетей и инфраструктуры. Тем не менее, компания продолжает поддерживать полезные сценарии использования в сфере кибербезопасности, такие как обнаружение уязвимостей.

Эти обновления соответствуют ранее опубликованному отчёту об угрозах, в котором были отмечены такие риски, как создание вредоносного ПО и кибератаки. В качестве дополнения Anthropic также опубликовала ^[2] отдельную статью в Справочном центре с подробными примерами запрещённого использования агентов.

Помимо борьбы с опасностями агентного ИИ, компания ослабляет свои ограничения на политический контент, отменив всеобщие запреты на политические темы в пользу целенаправленных ограничений на мошенническое или деструктивное использование. В политике также разъясняется, что требования к высокорискованным вариантам использования, таким как человеческий контроль в юридических, финансовых и трудовых приложениях, применяются только к результатам, ориентированным на потребителя.

Компания заявила, что изменения были внесены в ответ на отзывы пользователей, которые считали старые правила слишком общими и ограничивающими возможности для легитимных исследований и написания текстов.

Anthropic сотрудничает с экспертами в данной области и гражданским обществом для постоянной переоценки своей политики.

Ранее компания развернула ^[3] функцию памяти ^[4] для своего чат-бота Claude. Чат-бот просматривает предыдущие разговоры, читает их и кратко излагает содержание, а затем спрашивает, хочет ли пользователь продолжить работу над тем же проектом.