Guardrails для LLM: как устроена защита языковых моделей
Привет, Хабр! Я Антон, инженер по информационной безопасности в Selectel.
Гейтс: власти ни одной из стран не готовы к изменениям под влиянием ИИ
Основатель Microsoft Билл Гейтс в интервью агентству Reuters заявил, что ни одно правительство в мире не готово к тем переменам, которые привнесёт искусственный интеллект.
Adafruit приостановила ведение блога после письма с требованием от юристов Flux.ai
Компания разработки оборудования с открытым исходным кодом Adafruit перестала вести блог после того, как получила письмо от юристов Flux.ai с требованием прекратить использование ИИ-инструмента.
Пользователь пытался наладить отношения с девушкой при помощи ChatGPT, но превратил её жизнь в кошмар
Издание Futurism опубликовало историю женщины, чей партнёр превратил отношения в кошмар, следуя советам ChatGPT. При этом изначально у мужчины не было в анамнезе бреда, мании или психоза, и он никогда не проявлял к невесте насилия или агрессии.
Anthropic зафиксировали первый официальный случай крупной кибератаки, выполненной с помощью ИИ
Команда AI for Devs подготовила перевод статьи о первой зафиксированной кибератаке, почти полностью выполненной ИИ. Атака, где человек нужен лишь для того, чтобы пару раз «подтвердить заказ», — и это уже не фантастика, а реальность 2025 года. Недавно мы утверждали, что в кибербезопасности наступил переломный момент
Как могут взломать самолет?
Хабр, а вы боитесь летать? Сейчас каждый самолет представляет из себя комплексное решение из можества подсистем, которые обеспечивают стабильность и безопасность полета. Тенденции таковы, что транспортная отрасль активно интегрирует киберфизические системы, начиная от беспилотных систем в транспорте, заканчивая роевым интеллектом БПЛА. Однако из-за роста количества модулей, сложности архитектуры, множества технологий, растет и количество уязвимостей. Не все решения разрабатывались с учетом потенциальных атак, а последствия от них могут нести серьезный ущерб. К сожалению, инциденты уже были.
Anthropic обновила политику использования для противодействия рискам ИИ-агентов
Компания Anthropic объявила о важном обновлении своей Политики использования, которое вступит в силу 15 сентября. Изменения отражают растущие возможности ИИ-продуктов, в частности, агентов.
Anthropic: ИИ-помощники могут понижать точность ответов в угоду пользователям
В ходе исследования Anthropic такие популярные ИИ-модели как Claude 4, GPT‑4.1, Gemini 1.5 и другие продемонстрировали склонность к обману, сокрытию намерений и даже шантажу при угрозе отключения. Ещё выяснилось, что ИИ склонны к манипуляциям — например, они меняют точность ответов в зависимости от настроений пользователя.
