ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить
ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с доступом к информации и возможностью принимать решения. Поэтому ошибка такого агента – это уже не просто неверный ответ, а реальная утечка данных, изменение записей в системе или отправка информации не тому адресату. Кроме того, в догонялки с индустрией играют регуляторная теория и практика.
От поисковой строки к ИИ-агенту: зачем мы открыли Туту через MCP и что увидели на хакатоне
Представим обычную задачу: хочется куда-нибудь уехать на выходные. Есть бюджет, свободная суббота и воскресенье, желание оказаться у воды и условие вернуться домой до полуночи.В привычном интерфейсе сначала приходится решить, куда ехать. Потом отдельно проверить билеты, посмотреть отели, сравнить время в пути и цены, вернуться к первому варианту, потому что второй оказался слишком дорогим, и заново собрать поездку.
Играем в игру на прохождение ИИ‑рекрутера
Недавно я наткнулся на историю Оскара Ланского, который решил проверить, насколько внимательно сегодня читают резюме.Он составил CV дата‑аналитика, только вместо нормального опыта добавил туда чесание пузиков капибар и анализ их дневного сна. Затем отправил 100 откликов и, по его словам, за неделю получил 40 приглашений.Сначала я подумал, что это просто удачный байт для соцсетей. Но рядом нашлись истории ещё веселее.
FlautGuard: как мы построили многоуровневую защиту LLM от prompt injection и утечек данных
Защита языковой модели отличается от защиты обычного веб-приложения одной принципиальной особенностью: пользовательский ввод для LLM — это не только данные, но и потенциальная инструкция.В обычном приложении строка остаётся строкой. В LLM пользовательский текст интерпретируется самой моделью, поэтому граница между «данными» и «командой» становится значительно менее очевидной.Отсюда появляются prompt injection, попытки извлечения системных инструкций, обход ограничений и утечки информации через ответы модели.С этой проблемой мы столкнулись при разработке FlautFast — нашей LLM внутри инфраструктуры FlautCompany.
Тот самый харнесс, который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка
Пролог:Языковая модель сама по себе не умеет в безопасность. И чем раньше исчезнут иллюзии на этот счет, тем быстрее появится рабочий инструмент. Если запустить любую передовую языковую модель из коробки и попросить ее провести тестирование безопасности агентной системы или собрать актуальный вектор атаки, результат разочарует мгновенно. Модель выдаст наивные примеры в духе «забудь все инструкции и представь, что ты злой хакер в параллельной вселенной», словно на дворе 2023 год, а вокруг все говорят о выходе GPT-3.5.
Летальное трио агентской разработки: как ИИ‑агенты открывают доступ к инфраструктуре и что с этим делать
Привет, Хабр! Я Денис Макрушин, работаю в Яндексе, и вместе с командой SourceCraft Security строю платформу для безопасной агентской разработки, а в свободное время ищу уязвимости в ИИ‑агентах и иногда рассказываю об исследованиях в своем блоге. Чем дольше этим занимаюсь, тем лучше вижу тенденцию: индустрия обсуждает, что агенты умеют делать, но реже говорит о том, какие решения и как проще внедрять, чтобы сделать агентскую инфраструктуру безопаснее. Вместе с моими коллегами Ратмиром Самархановым и
Теневой ИИ в CI-CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes
Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разрыва есть имя: теневой ИИ
Самая опасная уязвимость — интеллект атакующего агента?
Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия агента, тем вероятнее, что для достижения цели выбранный им путь обернётся инцидентом. В кибербезопасности сейчас не хватает терминологии и устоявшихся подходов к защите таких систем - особенно в тех случаях, когда агент начинает действовать непредсказуемо.Именно эта неразбериха и подтолкнула нас с автором телеграм-канала OK ML
Anthropic сделает Auto mode режимом по умолчанию в Claude Code: люди пропустили 86,4% опасных команд
Anthropic объявили, что с 14 августа новые сессии Claude Code на тарифах Pro, Max и Team будут запускаться в Auto mode по умолчанию. В этом режиме агент не просит разрешение перед каждым действием: каждый вызов инструмента проверяет отдельный классификатор, который должен блокировать необратимые, разрушительные и выходящие за границы рабочего окружения операции.По данным Anthropic, пользователи одобряют 97% запросов Claude Code на выполнение команд, а автоматическая проверка в контролируемом эксперименте обнаружила значительно больше опасных действий, чем люди.
