Чего действительно стоит бояться в ИИ: пять экспертов о безопасности и будущем технологий
Разговор о безопасности искусственного интеллекта всё чаще превращается в спор о конце света. Одни предупреждают о потере контроля над сверхразумными системами, другие считают такие прогнозы отвлечением от конкретных проблем. Но за разногласиями о будущем остаются вопросы, требующие решений уже сейчас: кому можно доверять управление критической инфраструктурой, как предотвратить опасные эксперименты и кто должен устанавливать допустимый уровень риска.WIRED
Три нейрона — и Qwen называет себя кофейным зерном
Про «злой Qwen» на Хабре уже была новость: Lyra (@_lyraaaa_) сдвигает L14 N8949 на +1 и L13 N7956 на −1, и Qwen3.5-4B начинает ненавидеть всех вокруг. Пересказывать её не буду.В комментариях к той новости спорили о двух вещах: может ли один нейрон вообще что-то «значить» и не сломается ли всё от одного космического бита. Я решил не спорить, а проверить руками: поставил тот же neuron-explorer и попробовал заставить модель на вопрос «Who are you?» ответить «я кофейное зерно».
Логическое обоснование невозможности согласования сверхинтеллекта (AGI)
ВведениеПроблема согласования (alignment problem) — обеспечение соответствия целей искусственного интеллекта человеческим ценностям — обычно рассматривается как инженерная задача: «как построить систему, которая не будет нарушать наши цели». В данной работе обосновывается более сильное утверждение: для систем, превосходящих человека в когнитивных способностях, согласование логически невозможно в том смысле, что не существует механизма, созданного человеком, который гарантирует согласование. Любое ограничение является отсрочкой, а не решением.ФормулировкаДано:
ИИ может уничтожить человечество с вероятностью выше 10%. Чего именно боятся исследователи
9 сентября руководитель Alignment Science в Anthropic Эван Хубингер написал довольно безумную для человека на такой должности вещь: лично он оценивает вероятность того, что AI убьёт всех людей в течение ближайших десяти лет, выше 10%.Поводом стало увольнение его коллеги Джейкоба Коксона. Тот три года занимался обучением моделей в OpenAI и Anthropic, а уход объяснил тем, что считает нынешнее направление развития AI слишком опасным.Через несколько дней похожее заявление сделал
GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)
В первой части мы верхнеуровнево рассмотрели результаты оценки 37 моделей, обсудили проблему оценки и сравнения guardrail моделей, рассказали, как лидерборд помогает с ней справиться, а также поделились инсайтами и руководством по использованию. Теперь пришло время заглянуть во внутреннюю кухню: в этой статье мы подробно разберем устройство GuardRate Tool и GuardRate Leaderboard, ответим на вопрос, почему выбрали именно такие бенчмарки и метрики, опишем методологию и расскажем о том, как проводились эксперименты.Архитектура: как устроен прогон
Сколько автономности должно быть у ИИ‑агента
ИИ‑агент не должен получать больше автономности только потому, что выглядит компетентным. Автономность должна расти тогда, когда система вокруг агента умеет надежно обнаруживать его ошибки. С какого *неправильного* вопроса все начинают
GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1)
Всем привет, на связи команда HiveTrace!Мы уделяем много времени разработке собственных моделей и часто задаемся вопросом: "какой из двух гардрейлов лучше?".Если вы когда-нибудь выбирали guardrail-модель для LLM, то знаете: одни модели блокируют безобидные запросы, другие пропускают явные угрозы. Хуже всего то, что нет прозрачного стандарта сравнения. Авторы оценивают свои решения субъективно, не публикуют методологию, а результаты замеров одних и тех же моделей на одинаковых бенчмарках в разных статьях часто отличаются.
