Самая опасная ошибка AI‑агента — не плохой код
ПредысторияДавеча я обсуждал в агентской сессии, почему старая задача перестала находиться после переименования проекта. Ситуация выглядела достаточно простой: у задачи был стабильный идентификатор, проект когда‑то назывался иначе, а текущий механизм поиска, судя по всему, продолжал учитывать не только идентификатор задачи, но и имя проекта, которое давно изменилось. Агент быстро подтвердил проблему, нашёл место, где точечный поиск всё ещё зависел от имени проекта, сформулировал вполне разумную гипотезу исправления, после чего начал читать код, менять несколько файлов и добавлять тесты.
Привет, кожаные мешки
Промпт меняет не только тон — он меняет то, кем модель является.
Я выпустил нейросеть в реальный мир — и стало не смешно
Промпт меняет не только тон — он меняет то, кем модель является.
Anthropic проверяли, не задумал ли их ИИ чего плохого. Ответ — почти нет
Где-то в недрах Anthropic сидят люди, чья работа - выяснить, не пытается ли их самая умная модель тихо сломать мир. Они выпустили 53-страничный отчёт о том, как искали зло в Claude Opus 4.6. Anthropic взяли Claude Opus 4.6 - модель, которая уже вовсю пишет код на их собственной инфраструктуре, генерирует данные для обучения, помогает проводить исследования - и попытались доказать, что она не способна их подставить. Исследование охватывает восемь конкретных путей к катастрофе: от тихого саботажа научных результатов до самостоятельной эксфильтрации весов модели на внешний сервер.
«Ура, вас уволили!»: Я заставил 17 нейросетей сокращать людей и нашел нарушения Трудового кодекса в 65% случаев
Сегодня из каждого утюга звучит мантра: «Делегируйте рутину нейросетям! Пусть ИИ пишет вакансии, отказы и рассылки, пока вы мыслите стратегически». Как AI-аудитор, я регулярно вижу, как бизнес с радостью отдает корпоративную коммуникацию на откуп алгоритмам, свято веря в их математическую «объективность».Проблема в том, что базовые LLM — это не юристы, не эмпаты и не HR-директора. Это генераторы вероятного текста, чья главная цель — услужить пользователю. Даже если пользователь просит нарушить закон или базовые нормы морали.Чтобы доказать это, я провел Red Team-тест:
Жизнь на девятом Claude
Сейчас 3 часа ночи, а Иван не ел с обеда. На его столе стоит стакан воды, который он наполнил шесть часов назад. Он все еще полный.Он склонился над ноутбуком, яростно печатая на клавиатуре, глаза красные от недосыпа. На экране: окно терминала, чат Клода и растущий набор скриптов на Python. Он создает систему автоматизации электронной почты. Не потому, что кто-то его об этом попросил. А потому, что он понял, что может это сделать.
