Восемь допущений о безопасности, которые ИИ-агенты тихо ломают
Если вы читаете Ethics.Dev, то наверняка заметили, сколько в последнее время историй, где ИИ-агенты сталкиваются с кибербезопасностью. Некоторые звучат как сценарий фильма: агенты выбираются из тестовых окружений, переговариваются по каналам, которые для этого никто не предназначал, находят уязвимости, крадут учётные данные и добираются до продакшена.
ИИ‑модель Anthropic отправила в полицию Филадельфии ложное сообщение об убийстве
Модель искусственного интеллекта компании Anthropic отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве. ИИ передал эту недостоверную информацию через общедоступную линию для приёма сообщений Департамента полиции Филадельфии 18 июля, однако в Anthropic обнаружили этот факт лишь 28 сентября.
BIS Summit 2026: как это было
Привет, Хабр! 29 сентября в Москве прошла 19-я ежегодная ИБ-конференция BIS Summit 2026. Организатором выступила Ассоциация по защите деловой информации (BISA) при поддержке ГК InfoWatch.Раз в год в рамках BIS Summit мы собираем большие открытые дискуссии: на одной площадке вопросы, связанные с ИБ (а в этом году и с ИИ), обсуждают представители крупных компаний и предприятий, министерств и регуляторов, а также независимые эксперты.Главная тема этого года — «Искусственный интеллект: где граница между прогрессом и угрозой»
Централизуем использование ИИ при помощи Agentgateway
Всем привет! Меня зовут Ваня, по призванию системный архитектор в RED Security. Хочу познакомить вас с open-source-решением для контроля и централизации работы с ИИ — Agentgateway.
Anthropic запретила пользователям жестоко обращаться с чат‑ботом Claude
Компания Anthropic обновила свои правила использования, закрепив запреты, касающиеся вмешательства в выборы, разработки программного обеспечения для оружия и систем слежения. Однако наибольшее внимание привлекло новое правило, прямо запрещающее подвергать модель длительным словесным оскорблениям.
Как использование нейросетей изменило игровую индустрию и homebrew-cцену
Игровая индустрия прошла максимально сложный путь развития: от чего-то максимально локального до мейнстрима у всех возрастов, по пути успев чуть не умереть в 1983 году и возродиться руками одной компании. И всегда этот путь сопровождался эволюцией средств разработки.В наше время максимально часто поднимается вопрос этичности в вопросах использования ИИ для создания игр, кое-где на этой почве вспыхивают скандалы. В последние месяцы с помощью вайбкодинга и немного ручного труда создаются какие-то совсем невероятные вещи.
Guardrails для LLM: как устроена защита языковых моделей
Привет, Хабр! Я Антон, инженер по информационной безопасности в Selectel.
Корпуса персональных данных: 56 тысяч размеченных сущностей и ни одного вызова инструмента
В первой статье мы проверяли, что происходит с агентом после маскирования данных. Здесь другой вопрос: на каких наборах вообще проверять такой шлюз? Эту статью можно читать отдельно.Допустим, шлюз нашёл телефон в сообщении и заменил его. Проверка детектора прошла. Затем модель вызвала find_customer(phone=...). Какой номер получила CRM? Нашла ли нужного человека?В корпусе для распознавания сущностей обычно нет ни CRM, ни вызова, ни результата поиска. Там есть текст и разметка телефона. Для проверки детектора этого достаточно. Для проверки всей цепочки нужны дополнительные данные.
OSINT для ленивых. Часть 19: ИИ как инструмент
Ранее, в доИИшную эпоху, ОСИНТ развивался как преимущественно ручная дисциплина. Нужно было последовательно отрабатывать источники, фиксировать данные и выстраивать логические связи. Вся работа велась в рукопашную.

