Промпт-инъекции в реальных данных, широкие права доступа и другие способы сломать ИИ-агента
Привет, Хабр! На связи команда Jay Guard — платформы, которая помогает безопасно использовать языковые модели и ИИ-агентов.Недавно мы опубликовали статью про ИИ-агента для HR-процессов. В комментариях почти сразу появились вопросы про данные — куда уходят персональные данные, что из этого видит LLM, что пишется в логи (журнал событий) и как все это соотносится с требованиями ИБ, 152-ФЗ и внутренними регламентами.
Innostage выпустила продукт AIDR для защиты корпоративного ИИ от взломов и утечек данных
Компания Innostage выпустила AIDR (Artificial Intelligence Detection & Response) – «Защита ИИ». Продукт для корпоративных больших языковых моделей (LLM) блокирует атаки на ИИ-сервисы, предотвращает утечки данных и встраивает контроль над ИИ в процессы информационной безопасности (ИБ).
Ваши секреты внутри LLM. Куда уходят промпты и чего стоит опасаться?
Каждый раз, когда Вы отправляете часть своего кода в Cursor, Claude Code или скидываете свой отчет для анализа в Gemini или Qwen, где-то в мире грустит один юрист по информационной безопасности. Нейросети — это магия (ну или статистическая закономерность), а кто-то из нас хотя бы раз открывал юридические документы, которые размещены на любимых нами ресурсах?Давайте немного покопаемся в документах крупнейших игроков: OpenAI, Google, Qwen, DeepSeek и, конечно же, в российском GigaChat. И посмотрим, а кто же кроме нас может иметь доступ к нашей информации?Зачем кому-то наши данные?
152-ФЗ и LLM несовместимы по умолчанию: как мы это исправили без потери качества AI
Строим AI-ассистента для бизнеса — и обнаруживаем, что каждое сообщение пользователя с персональными данными уходит в Google. Рассказываю, как это исправить, не сломав UX.Когда мы запускали AI-ассистента для квалификации лидов в строительном бизнесе, первый же вопрос от клиента поставил меня в тупик: «А куда уходят персональные данные, которые люди вводят в чат?»Я знал ответ. И он мне не нравился.Пользователь пишет: «Меня зовут Дмитрий, наша компания ООО Ромашка, телефон +7 903 123-45-67, email dmitriy@company.com»
Нам говорят, что AI безопасен. Confer — первый случай, когда это почти правда
Если вы хотите пользоваться LLM, но при этом вам важна приватность данных, то до недавнего времени у вас, по сути, был один вариант — поднимать локально собственную языковую модель.Ситуация меняется. Создатель мессенджера Signal, Мокси Марлинспайк, запускает приватный AI‑сервис Confer с основным фокусом на конфиденциальность и безопасность данных.Можно ли считать Confer
Создатель Signal разработал ИИ-ассистента для сокрытия данных от операторов и правоохранителей
Создатель мессенджера Signal Мокси Марлинспайк стремится аналогичным образом революционизировать чат-боты, добавив слой анонимности. Он разрабатывает ИИ-помощника Confer с открытым исходным кодом, который гарантирует, что данные пользователей будут недоступными для оператора платформы, хакеров, правоохранительных органов или любой другой стороны, кроме самих владельцев учётных записей.
Кибербезопасность индустрия решения проблем или индустрия создания проблем для их последующего решения?
Теневой рынок киберпреступности не страдает от корпоративной бюрократии и не пытается продать клиенту «ощущение безопасности». Он построен на принципах экстремальной эффективности, где каждый участник от разработчика эксплойта до оператора ботнета мотивирован только конечной прибылью. В то время как легальная индустрия ИБ усложняет защиту, хакерская экономика идёт по пути максимального упрощения доступа к атакам.Почему хакерская экономика эффективнее корпоративной защитыКиберпреступный мир давно перешёл на модель «преступление как услуга».
Гайд по здравому смыслу: Как защитить корпоративные данные в эпоху нейросетей
Дивный новый мир — искусственный интеллект сейчас встраивают практически во все бизнес-процессы, нейронки генерируют код, тексты и картинки, и это не говоря о роботах на производстве, которые с каждым годом становятся умнее. Это было бы прекрасно, если бы плодами технологического прогресса в равной степени не пользовались злоумышленники. Привет, Хабр! Меня зовут Кирилл Пшинник, я научный сотрудник Университета Иннополис и СЕО онлайн-университета «Зерокодер»
Как искусственный интеллект помогает врачам проводить УЗИ на расстоянии
В России создана первая отечественная УЗИ-система на основе искусственного интеллекта — СОНОРУС. Она позволяет врачам проводить исследования и консультироваться дистанционно в режиме реального времени. Технология уже используется врачами и способна заменить зарубежные аналоги, обеспечивая высокое качество диагностики и надёжную передачу данных.
