Тестирование IT-систем. - страница 7

Как мы проверяем, какие данные остаются в тексте после маскировки перед LLM

Вот результат обработки искусственного документа нашим локальным Pii-Mask:{{PERSON_1}}, инженер. Номер в отраслевом реестре: Z-99-65432104. Маскер закрыл ФИО, но оставил номер. Здесь он вымышленный; в настоящем документе такой идентификатор может позволить найти человека в открытом реестре. Успешное завершение маскера этого не исключает.Перед передачей текста в модель мы ищем в нем известные идентификаторы документа. Список для этой проверки составляется по исходному материалу: если брать только найденные маскером сущности, пропущенный идентификатор не попадет в список для проверки.Что проверяем

продолжить чтение

Где сломался AI-агент? Как отлаживать многоэтапные воркфлоу по шагам

Расследование инцидента состоит из цепочки взаимосвязанных решений. Сначала нужно определить, когда началась проблема, затем понять, какие системы она затронула, проверить исходную гипотезу по метрикам, логам или трейсам и, наконец, свести все собранные данные воедино, чтобы установить наиболее вероятную первопричину.Мы построили агентный воркфлоу по той же схеме. Каждый этап отвечает за свою часть расследования и передаёт результат следующему.

продолжить чтение

Прогнали GigaChat 3.5 по реальным кейсам: Результаты большого тест‑драйва

В начале сентября Сбер неожиданно выложил открытые веса своей модели GigaChat 3.5 432B. Таким образом, любая компания в России может развернуть эту модель на своем сервере(при наличии мощного железа). И казалось бы, это может в корне переломить ситуацию с суверенными моделями в России, так как эта модель думающая. И у меня возник вопрос: а возможно ли использовать эту модель для создания ИИ‑агентов?Приготовьтесь, в статье будет много скриншотов по нашим результатам на боевом сервере.

продолжить чтение

Три итерации до полезного ИИ: как мы автоматизировали тестирование в ELMA365

Всем привет! Меня зовут Татьяна Веселова. Я руководитель направления ELMA в департаменте CRM&BPM.На каждом проекте и перед релизом аналитики мы всегда проводим тестирование функционала: проверяем формы, роли, согласования и сценарии, которые могли не заработать или сломаться после очередной доработки. Выделенных тестировщиков у нас нет, поэтому эта рутина регулярно съедала время у тех, кому нужно заниматься требованиями, документацией, архитектурой и клиентами.

продолжить чтение

У ИИ есть знания, у человека — контекст

TL;DR. Текст всё чаще доходит до читателя через два преобразователя: ИИ, с которым пишет автор, и ИИ, который делает выжимку для читателя. В КИПиА такая конструкция называется измерительным каналом, и у неё есть известное свойство: погрешности звеньев складываются, а проверять нужно канал целиком. Знание ИИ передаёт через канал хорошо. Контекст — нет. Ниже разбираю, какой именно контекст теряется, почему ошибка модели, общая для всех её читателей, опаснее обычного непонимания и как поверять такой канал автору и читателю.Два преобразователя между автором и читателем

продолжить чтение

Неделя до INFOSTART TECH EVENT 2026: практики 1С в мире темного фэнтези

INFOSTART TECH EVENT 2026 ждет тебя!

продолжить чтение

Нейросеть написала PR, тесты зелёные, а поведение изменилось. Как я научил CI это ловить

Отчёт confidence‑scorer: найден контрпример, score 35/100

продолжить чтение

Ищем замену MinIO в условиях импортозамещения: опыт тестирования трех S3-совместимых хранилищ

Привет, я Иван Засухин, DataOps Лаборатории искусственного интеллекта департамента больших данных Россельхозбанка. Мы одна из команд платформы RAISA (RSHB AI Systems and Applications), отвечаем за инструменты, которые связаны с данными и их обработкой: Оркестрация (Apache Airflow), Compute( Apache Spark и Apache Trino), Хранение (S3 и Qdrant), интерфейсы взаимодействия с источниками данных (python-модули и кастомные операторы). В команде я занимаюсь развитием инструментов и их дальнейшим сопровождением.

продолжить чтение

Как найти причину ошибок AI-фичи и проверить её с помощью тестового оракула

Материал подготовлен в рамках нового курса Otus «ИИ в тестировании: ускорение процессов и проверка ИИ-функций»Предположим, в CRM появилась кнопка «Составить резюме обращения». Она передаёт переписку языковой модели и возвращает короткий текст для следующего оператора. QA нужно проверить функцию перед релизом, но уже на первом сценарии возникает вопрос: что записывать в expected result?Возьмём учебный диалог. Все ответы ниже составлены для разбора, это не результаты эксперимента с конкретной моделью.

продолжить чтение

Как тестировать AI-фичу, если у неё нет одного правильного ответа

Материал подготовлен в рамках нового курса Otus «ИИ в тестировании: ускорение процессов и проверка ИИ-функций»Предположим, в CRM появилась кнопка «Составить резюме обращения». Она передаёт переписку языковой модели и возвращает короткий текст для следующего оператора. QA нужно проверить функцию перед релизом, но уже на первом сценарии возникает вопрос: что записывать в expected result?Возьмём учебный диалог. Все ответы ниже составлены для разбора, это не результаты эксперимента с конкретной моделью.

продолжить чтение

1...5678910...2030...43