Как мы проверяем, какие данные остаются в тексте после маскировки перед LLM
Вот результат обработки искусственного документа нашим локальным Pii-Mask:{{PERSON_1}}, инженер. Номер в отраслевом реестре: Z-99-65432104. Маскер закрыл ФИО, но оставил номер. Здесь он вымышленный; в настоящем документе такой идентификатор может позволить найти человека в открытом реестре. Успешное завершение маскера этого не исключает.Перед передачей текста в модель мы ищем в нем известные идентификаторы документа. Список для этой проверки составляется по исходному материалу: если брать только найденные маскером сущности, пропущенный идентификатор не попадет в список для проверки.Что проверяем
Где сломался AI-агент? Как отлаживать многоэтапные воркфлоу по шагам
Расследование инцидента состоит из цепочки взаимосвязанных решений. Сначала нужно определить, когда началась проблема, затем понять, какие системы она затронула, проверить исходную гипотезу по метрикам, логам или трейсам и, наконец, свести все собранные данные воедино, чтобы установить наиболее вероятную первопричину.Мы построили агентный воркфлоу по той же схеме. Каждый этап отвечает за свою часть расследования и передаёт результат следующему.
Прогнали GigaChat 3.5 по реальным кейсам: Результаты большого тест‑драйва
В начале сентября Сбер неожиданно выложил открытые веса своей модели GigaChat 3.5 432B. Таким образом, любая компания в России может развернуть эту модель на своем сервере(при наличии мощного железа). И казалось бы, это может в корне переломить ситуацию с суверенными моделями в России, так как эта модель думающая. И у меня возник вопрос: а возможно ли использовать эту модель для создания ИИ‑агентов?Приготовьтесь, в статье будет много скриншотов по нашим результатам на боевом сервере.
Три итерации до полезного ИИ: как мы автоматизировали тестирование в ELMA365
Всем привет! Меня зовут Татьяна Веселова. Я руководитель направления ELMA в департаменте CRM&BPM.На каждом проекте и перед релизом аналитики мы всегда проводим тестирование функционала: проверяем формы, роли, согласования и сценарии, которые могли не заработать или сломаться после очередной доработки. Выделенных тестировщиков у нас нет, поэтому эта рутина регулярно съедала время у тех, кому нужно заниматься требованиями, документацией, архитектурой и клиентами.
У ИИ есть знания, у человека — контекст
TL;DR. Текст всё чаще доходит до читателя через два преобразователя: ИИ, с которым пишет автор, и ИИ, который делает выжимку для читателя. В КИПиА такая конструкция называется измерительным каналом, и у неё есть известное свойство: погрешности звеньев складываются, а проверять нужно канал целиком. Знание ИИ передаёт через канал хорошо. Контекст — нет. Ниже разбираю, какой именно контекст теряется, почему ошибка модели, общая для всех её читателей, опаснее обычного непонимания и как поверять такой канал автору и читателю.Два преобразователя между автором и читателем
Неделя до INFOSTART TECH EVENT 2026: практики 1С в мире темного фэнтези
INFOSTART TECH EVENT 2026 ждет тебя!
Нейросеть написала PR, тесты зелёные, а поведение изменилось. Как я научил CI это ловить
Отчёт confidence‑scorer: найден контрпример, score 35/100
Ищем замену MinIO в условиях импортозамещения: опыт тестирования трех S3-совместимых хранилищ
Привет, я Иван Засухин, DataOps Лаборатории искусственного интеллекта департамента больших данных Россельхозбанка. Мы одна из команд платформы RAISA (RSHB AI Systems and Applications), отвечаем за инструменты, которые связаны с данными и их обработкой: Оркестрация (Apache Airflow), Compute( Apache Spark и Apache Trino), Хранение (S3 и Qdrant), интерфейсы взаимодействия с источниками данных (python-модули и кастомные операторы). В команде я занимаюсь развитием инструментов и их дальнейшим сопровождением.
Как найти причину ошибок AI-фичи и проверить её с помощью тестового оракула
Материал подготовлен в рамках нового курса Otus «ИИ в тестировании: ускорение процессов и проверка ИИ-функций»Предположим, в CRM появилась кнопка «Составить резюме обращения». Она передаёт переписку языковой модели и возвращает короткий текст для следующего оператора. QA нужно проверить функцию перед релизом, но уже на первом сценарии возникает вопрос: что записывать в expected result?Возьмём учебный диалог. Все ответы ниже составлены для разбора, это не результаты эксперимента с конкретной моделью.
Как тестировать AI-фичу, если у неё нет одного правильного ответа
Материал подготовлен в рамках нового курса Otus «ИИ в тестировании: ускорение процессов и проверка ИИ-функций»Предположим, в CRM появилась кнопка «Составить резюме обращения». Она передаёт переписку языковой модели и возвращает короткий текст для следующего оператора. QA нужно проверить функцию перед релизом, но уже на первом сценарии возникает вопрос: что записывать в expected result?Возьмём учебный диалог. Все ответы ниже составлены для разбора, это не результаты эксперимента с конкретной моделью.

