Иллюзия контроля: почему промпты не защищают ИИ‑агентов
От Permission Boundary Bypass до языка Дика: почему безопасность агента должна жить в runtime, а не в system prompt.Эпоха простых чат‑ботов подошла к концу. Сегодня мы строим автономных ИИ‑агентов, которые через MCP
Промпт-инъекции в реальных данных, широкие права доступа и другие способы сломать ИИ-агента
Привет, Хабр! На связи команда Jay Guard — платформы, которая помогает безопасно использовать языковые модели и ИИ-агентов.Недавно мы опубликовали статью про ИИ-агента для HR-процессов. В комментариях почти сразу появились вопросы про данные — куда уходят персональные данные, что из этого видит LLM, что пишется в логи (журнал событий) и как все это соотносится с требованиями ИБ, 152-ФЗ и внутренними регламентами.
ИИ-агенты в проде: как измерить безопасность и снизить риски внедрения
ИИ-агенты перестали быть экспериментальными проектами. Они читают корпоративную почту, обновляют задачи в трекерах, формируют черновики документов и отправляют сообщения от имени сотрудников. Всё это — в проде, с реальными данными и реальными последствиями. И именно здесь начинается разговор, к которому многие команды оказываются не готовы: когда CTO или директор по безопасности задаёт вопрос «насколько это безопасно?», у разработчика должен быть конкретный ответ — не «мы используем надёжную модель», а «вот что мы проверили, вот что нашли, вот как это исправили».
Как РосАтом на чёрном рынке ИИ покупал
"Кроилово ведёт к попадалову" - знает каждый русскоязычный, поляк бы сказал - "Tanie mięso psy jedzą", в британских колониях прозвучит - "Penny wise, pound foolish", а другие участники Глобального Атомного Квиза уверен припомнили пословицу на своём языке получив от госкорпорации РосАтом "призы" за победу.
Почему корпоративные знания не работают — и как это исправит ИИ
В каждой крупной компании со временем накапливается огромное количество ценной информации — инструкций, регламентов, технологических карт, аналитических отчетов. Однако в большинстве случаев эти данные висят «мертвым» грузом в архивах и папках. Все необходимое где-то есть, но найти вовремя невозможно. Чтобы знания действительно начали работать на бизнес, нужен инструмент, который сможет оперативно доставить их тем, кому они нужны. И именно такую задачу решает ИИ чат-бот на основе технологии RAG (Retrieval-Augmented Generation). Когда знаний много, но они не работают
Более 40 млн человек каждый день спрашивают ChatGPT о здоровье
Наверное, все уже в курсе, что OpenAI анонсировал раздел Health в ChatGPT (лист ожидания), это специальное пространство для обсуждений здоровья в ChatGPT.
Гайд по здравому смыслу: Как защитить корпоративные данные в эпоху нейросетей
Дивный новый мир — искусственный интеллект сейчас встраивают практически во все бизнес-процессы, нейронки генерируют код, тексты и картинки, и это не говоря о роботах на производстве, которые с каждым годом становятся умнее. Это было бы прекрасно, если бы плодами технологического прогресса в равной степени не пользовались злоумышленники. Привет, Хабр! Меня зовут Кирилл Пшинник, я научный сотрудник Университета Иннополис и СЕО онлайн-университета «Зерокодер»
MalTerminal: первый вирус, который пишет сам себя с помощью ИИ
Представьте: хакеру больше не нужно сидеть ночами, вылизывая строчки кода для нового вируса. Достаточно открыть чат с ИИ и написать: «Сделай мне вредоносную программу, которая обойдёт защиту Windows 11 и зашифрует файлы»
От наскальных рисунков до S3: эволюция хранения данных
Как вы храните данные? Используете файловое хранилище, S3
