Загрузил не тот файл в нейросеть — уволен. Как устроена безопасность данных в ИИ
Договор с клиентом, фрагмент кода, медицинская карта — отважные пользователи нейросетей каждый день загружают данные, которые никогда бы не отправили незнакомому человеку. При этом мало кто понимает, куда физически они попадают, кто может их увидеть и использовать, что происходит после нажатия «удалить».
9 ошибок при создании и внедрении чат‑ботов
Хайп искусственного интеллекта все еще в разгаре, поэтому можно часто услышать, а давайте «просто прикрутим сюда LLM». А с учетом того, что собрать чат‑бота с вызовом LLM можно минут за 15, то насобирали их уже огромное множество, но теперь для многих стал актуальным вопрос окупаемости собранного чат‑бота. И сразу хочется отметить, что проблема не в том, что выбранная LLM “слабая”, а в том, что архитектура и бизнес‑процессы вокруг неё нормально не спроектированы, а необходимых данных контекста просто нет или они уже не актуальны.
Data‑инфраструктура только 20% компаний КИИ полностью готова к требованиям закона об ИИ
По оценке К2Тех, не более 20% субъектов КИИ обладают достаточной зрелостью data‑инфраструктуры, управления и работы с данными для выполнения требований нового закона в сфере ИИ. Более чем половине (55%) нужна доработка существующих систем и подходов, а 25% потребуется их значительная трансформация. Исследование проводилось К2Тех методом анализа более 80 проведенных предпроектных обследований и аудитов, а также опроса 150 респондентов из компаний‑субъектов КИИ.
ИИ-агент работает, пока ему не дали доступ к реальным данным. Что ломается в проде?
На стенде ИИ-агенту легко быть умным. Все, что нужно для ответа, уже положили в контекст, а реальные системы оставили за пределами демо. В компании ему придется самому получать актуальные сведения из CRM, старой банковской системы, внутренних документов и сервисов. Для этого агенту выдают учетные данные и инструменты, то есть превращают его из чат-интерфейса в участника корпоративной системы. И только тогда выясняется: успешный пилот проверил возможности модели, но ничего не сказал о системе, которая должна снабжать ее данными, ограничивать и контролировать.
Разбор Mimolet: что здесь удобно, а что стоит переделать
Mimolet выглядит как обычное приложение для знакомств с вертикальной лентой анкет. Но если пройти регистрацию и открыть несколько разделов, становится понятно, что одной лентой дело не ограничивается. Здесь есть подробные профили, нормальные чаты, публичные группы, встроенные звонки, ИИ-функции и отдельная система модерации.Часть решений мне понравилась. Некоторые показались лишними или недоработанными. Ниже разберу всё по порядку, без рейтинга из десяти баллов и попыток объявить приложение лучшим на рынке.Что будет в разбореРегистрация, анкеты и лента
Посмотрел, как Mimolet обращается с данными и нежелательным контентом: два замечания и семь удачных решений
Когда сервис знакомств рассказывает о безопасности, текст обычно строится по одному шаблону: данные надежно защищены, модерация работает круглосуточно, современные алгоритмы следят за порядком. Звучит успокаивающе, но почти ничего не объясняет. Гораздо интереснее посмотреть не на обещания, а на конкретные механизмы. Что происходит с фотографией после загрузки? Где находится основной серверный контур? Может ли пользователь пожаловаться без подписки? Нужно ли сообщать собеседнику номер телефона для звонка? И что именно скрывается за словами об ИИ-модерации?
ИИ зависимость и лекарство от prompt injection (в том числе от системного промпта провайдера)
Повсеместная экспансия различных ИИ-ассистентов во все сферы достигла такой глубины, что её впору сравнить с наркотической зависимостью. Эйфория от кратковременного всплеска производительности, который получается в самом начале внедрении интеллектуальных инструментов, даёт очень быстрый и измеримый экономический эффект, который подстёгивает компании встраивать ИИ в любой процесс.
В Model Context Protocol добавлена централизованная авторизация для корпоративных клиентов
Команда Model Context Protocol перевела расширение Enterprise-Managed Authorisation
Иллюзия контроля: почему промпты не защищают ИИ‑агентов
От Permission Boundary Bypass до языка Дика: почему безопасность агента должна жить в runtime, а не в system prompt.Эпоха простых чат‑ботов подошла к концу. Сегодня мы строим автономных ИИ‑агентов, которые через MCP
