Промпт-инъекции в реальных данных, широкие права доступа и другие способы сломать ИИ-агента
Привет, Хабр! На связи команда Jay Guard — платформы, которая помогает безопасно использовать языковые модели и ИИ-агентов.Недавно мы опубликовали статью про ИИ-агента для HR-процессов. В комментариях почти сразу появились вопросы про данные — куда уходят персональные данные, что из этого видит LLM, что пишется в логи (журнал событий) и как все это соотносится с требованиями ИБ, 152-ФЗ и внутренними регламентами.
Эксперимент: может ли группа LLM отбирать стартапы лучше человека?
Оценивая текущую повестку вокруг ИИ, многие резонно замечают парадокс. Шума много, ботов ещё больше, а сгенерированных картинок и красивых концептов — бесконечный поток. Мы даже видим волны увольнений из-за повальной оптимизации, но где осязаемые результаты? Где то самое «пощупать»? Настоящая эффективность, которую можно поставить на стол перед скептиком и сказать: смотрите, вот оно работает. Без идеализации, но с пониманием реального потенциала.Безусловно, у технологии есть мощные стороны. Я сам о них писал (раз
Runtime‑память для локальной LLM: слепки, паттерны и эффект Memento
Я пишу локальный runtime JIN для диагностики поведения LLM, а также как эксперимент по имплементации долговременной памяти. Изначально проект задумывался как альтернатива тому, что уже существует в большом количестве и постоянно обсуждается: RAG, пересылке всей пачки сообщений туда‑сюда и так далееПоэтому первый MVP был простым: строка ввода, чистый чат с WebSocket‑стримингом и локальная модель.Сейчас JIN выглядит так:
Гендиректор Coinbase рассказал, как наращивать использование нейросетей, не раздувая бюджеты на токены
Гендиректор криптобиржи Coinbase Брайан Армстронг
Anthropic выпустила Claude Fable 5 и закрытую Mythos 5
Anthropic выпустила Claude Fable 5 — модель класса Mythos, адаптированную для широкого доступа.По данным компании, Fable 5 превосходит все ранее опубликованные модели Claude и показывает высокие результаты почти во всех протестированных сценариях: разработке ПО, работе с информацией, анализе изображений и научных исследованиях. Наиболее заметно преимущество модели проявляется в длительных и сложных задачах.TL;DR:
Бесплатный воркшоп: «Создаем B2B CRM с ИИ на Java»
2023 — попробуйте ChatGPT.2024 — попробуйте генерировать код.2025 — попробуйте ИИ-агентов.2️⃣0️⃣2️⃣6️⃣ — пора разобраться, как встроить ИИ в управляемый процесс разработки.Сегодня вопрос уже не в том, использовать ли ИИ в разработке.
ChatGPT ссылается на мошеннические сайты-клоны магазинов, созданные для похищения данных банковских карт
Исследователи выяснили
Почему мы выбрали Яндекс и зачем промышленности строительных материалов ИИ-экосистема
Ребята, привет! Мы — цифровое сердце ТЕХНОНИКОЛЬ. И хаб цифровых решений внутри промышленного гиганта.
Клод в шестернях
Когда эксперт впервые увидел, как эта машина ведёт себя в динамике, он сказал, что без курсов по двигателям и трансмиссиям меня к такому тренажёру подпускать нельзя. Он был прав.Меня позвали перенести с Unity на Unigine тренажёр гусеничной машины: железная кабина на динамической платформе, заказчик, сроки, приёмка и эксперты, которые ездили на этой машине и помнили, как она ведёт себя в разных режимах и условиях. К середине проекта я решил, что новую физику машины проще написать с нуля, чем дальше вбивать костыли в старую модель. И да, там будет Патрик Суэйзи.
