Какое качество реально достижимо в LLM проектах?
В этой статье рассмотрим все способы повышения качества работы одной ноды. Затем разберём, что происходит в цепочках последовательных вызовов.Главная мысль автора заключается в том, что на проде вам вряд ли удастся добиться качества ответов всей системы выше 90%. Лучше изначально ориентироваться на этот показатель, поскольку некоторые проекты из-за высокой стоимости ошибки никогда не сойдутся.Будем разбираться на примере определения кода услуги для 402-й формы. На первый взгляд задача простая: по названию услуги нужно выбрать соответствующий класс.Например, в справочнике есть такие категории:
Как я научил ИИ-агента находить клиентов в госзакупках
Я работаю в продажах ИТ-оборудования и веду проекты системной интеграции. Хороший клиент для меня – компания, которой прямо сейчас нужны серверы или система хранения данных. Такие компании сами о себе сообщают. Они публикуют закупки, где написано, что нужно, сколько и к какому сроку.Проблема в том, что закупка – это еще не разговор. Чтобы позвонить с толком, менеджеру нужно прочитать техническое задание, понять, что за компания и есть ли у нее деньги, и найти, кому звонить. На одну закупку уходит заметное время, и не каждая закупка в итоге оказывается своей.
ИИ‑агент уверенно ошибается, а ИИ‑проверяющий говорит: всё в порядке
ИИ‑агент, тест и ИИ‑проверяющий: три разных ошибки в одном эксперименте
Как мы тестировали RAG: нашёл документ, но всё равно ошибся
В прошлой статье я рассказывал, как наш трёхнедельный RAG-пилот по технической документации растянулся на три месяца. Мы собирались научить корпоративный AI отвечать на вопросы инженеров и менеджеров, а вместо этого обнаружили, что сначала нужно разобраться в собственных документах.С тех пор мы продвинулись. Собрали базу знаний, настроили поиск, подготовили сотни контрольных вопросов и наконец начали испытывать ассистента на реальных инженерных задачах.Промежуточный результат — 84% правильных ответов на тестовом наборе из 188 вопросов
OpenAI внедрит систему контроля для остановки рисковых ИИ‑задач за 35 секунд
OpenAI внедрила централизованную систему управления под названием «Control Room», предназначенную для остановки потенциально рискованных процессов, связанных с использованием моделей ИИ в рамках исследовательской инфраструктуры. Система позволяет прекратить генерацию ответов моделью в течение 35 секунд после принятия решения о вмешательстве.
Мы внедряли ИИ-агентов, а переучиваться пришлось самим: почему одних интеграций недостаточно
Еще вчера мы замирали от восторга, когда ИИ писал за нас письма. Сегодня негодуем: почему он сам не догадался кому их отправить? Не перенес саммари встречи в документы и не обновил задачу в трекере. Пока ты сам в этом разбираешься, приходят итоги следующей встречи, письма и новые таски.Вот и получается, ИИ обрабатывает контент, а связующим звеном между почтой, чатами и задачами по-прежнему работает человек. Так что же делать, чтобы извлечь больше пользы из такой автоматизации?
IDA + Codex. Реверс в каждый дом
Всем привет! На связи Angara MTDR и сегодня наш аналитик Дьяков Кирилл поделится опытом, как подключить Codex к IDA, что ему можно поручить и что получилось при разборе малварей из лабораторных заданий уровня Insane. Заодно автор сравнит две связки: IDA Pro 9.2 со сторонним MCP и IDA Pro 9.5 с официальным MCP от Hex-Rays (создателей IDA). Результаты будут сформированы на основе трех прогонов. Статья предназначена для новичков в реверсе и энтузиастов, которым интересно попробовать IDA с AI-помощником.
Очумелые ручки с Чижиком, выпуск № 3: Как мы превратили детскую поделку в хардкорную настолку
Все началось в частной столярной мастерской, куда мы пришли с младшим сыном на мастер-класс. Там мы сделали из дерева вот такую штуку: квадратное поле, по десять подвижных башенок с каждой стороны и два деревянных кубика (вернее такой она стала впоследствии, заготовка не имела выжженых символов на башнях). Башенки можно поднимать, опускать и с грохотом ронять обратно, что уже само по себе выглядело многообещающе.
