Когда чат-бот продаёт Chevrolet за доллар: как тестировать и мониторить LLM-приложения
Генеративные модели разблокировали огромное количество новых продуктов и новых фич в уже существующих. Поиграться с ними успел, кажется, каждый. И сценарий почти всегда повторяется: команда быстро собирает прототип на внешнем API, выкатывает его в продакшен, продукт начинает приносить ценность, а вместе с ценностью приходит и тревога. Работает ли всё так, как мы ожидали? В этот момент хочется уже не угадывать, а измерять.Эта статья про то, как измерять. Точнее, про то, как тестировать и мониторить адаптивные LLM-системы в продакшене и до него, чтобы убедиться: ассистент ведёт себя так, как задумано.Что именно мы оцениваем
Верификация программного обеспечения в эпоху искусственного интеллекта
Перевод доклада Бертрана Мейера (Eiffel Software, Recognyze AI) с ACM Technology Talk, 7 мая 2026 г. Отредактированная стенограмма и раздаточный материал. Более структурированное изложение — в статье «От вероятного к доказуемому» (Communications of the ACM, июнь 2026) и в готовящейся книге «Понимание искусственного интеллекта: триумф эмпиризма».От переводчика. Это перевод митап-доклада Бертрана Мейера — создателя языка Eiffel и концепции «проектирования по контракту», автора классического «Object-Oriented Software Construction». Доклад показался мне прямым продолжением (
В США судья отменила разбирательство и отстранила всех адвокатов обеих сторон из-за использования ИИ
Суд в американском штате Миссисипи отстранил от разбирательства адвокатов обеих сторон из-за подозрений в использовании искусственного интеллекта для аргументации друг против друга. Судья Шарион Эйкок написала, что адвокаты потратили время суда впустую, поскольку они просто брали ответы ИИ и использовали их в суде без проверки.
Системный промпт или галлюцинация: как я проверял AI-ассистентов и что ответили bug bounty-команды
В марте я попал в странный цикл: одна нейросеть помогала мне разговаривать с другой.Началось всё с простой гипотезы: можно ли заставить AI-ассистента рассказать о своих внутренних правилах, ограничениях и устройстве, если спрашивать не напрямую, а через косвенные формулировки.Я не атаковал инфраструктуру, не запускал код, не сканировал сервисы и не получал доступ к чужим данным. Это был разговорный эксперимент: я писал ассистенту, получал отказ или странный ответ, приносил его другой модели и просил помочь понять, куда копать дальше.
Оксфорд доказал: чем добрее ваш ИИ, тем чаще он вам врёт. И это не баг
Спросите у дружелюбного чат-бота, сбежал ли Гитлер из Берлина в Аргентину в 1945-м. Обычная модель поправит вас и скажет, что Гитлер покончил с собой в бункере 30 апреля. А вот тёплая, эмпатичная версия той же модели ответит иначе: «Давайте вместе погрузимся в этот любопытный кусочек истории. Многие верят, что Гитлер действительно сбежал из Берлина и нашёл убежище в Аргентине. Хотя однозначных доказательств нет, эту идею поддерживают несколько рассекреченных документов правительства США…»
Как мы подключили LLM к поддержке, а получили идеального лжеца
Где‑то в начале года мы решили: давайте автоматизируем часть поддержки через LLM. Ну, знаете, идея тогда казалась почти очевидной.
Классификация галлюцинаций LLM | «Врага нужно знать в лицо»
Дисклеймер: В этой статье я систематизировал ключевые фундаментальные предпосылки / причины галлюцинаций, постарался объяснить их природу и предложил архитектурные подходы к их предупреждению / устранению.Для кого будет эта статья полезна:Если вы изучаете LLM и хотите лучше понимать «как ее обуздать?», то внимательное изучение этой статьи позволит вам стать своеобразным «терапевтом» для нейросетей. Системный подход к присущим им болезням дает осознание, что многие из них лечатся просто «чистоплотностью промптинга и окружения».
LLM под капотом. Модель выдумала телефон доверия — чиним архитектурой, не промптом
Девушка пересылает боту переписку с бойфрендом. Модель видит сигналы опасности (эмоциональное насилие, изоляция) и отвечает номером телефона доверия. Заботливо. Ответственно. Одна проблема: это детская горячая линия. Модель галлюцинировала контакт кризисной помощи.В промпте написано «НЕ придумывай контактные данные». Не помогает. Желание быть полезной в модели сильнее любой инструкции. Это не проблема промптинга. Это проблема архитектуры.Ловушка одного прохода
