Тестирование IT-систем. - страница 6

Регрессионное тестирование промптов: ИИ‑модель в роли читателя пропустила три из четырёх текстов, которые я правил

Я правлю промпты агентов, которые пишут и проверяют тексты. Чтобы правка не сломала то, что раньше работало, я собрал набор примеров с известным ответом и прогнал по нему проверку, где ИИ‑модель играет читателя. Сильно правленые тексты она чаще пропускала, чем возвращала.В набор вошли тексты двух видов: одни я потом сильно переписывал руками, другие почти не тронул. Если принять правку промпта по такой проверке, брак уйдёт дальше, а проверка будет гореть зелёным.Из чего собрать набор для тестирования LLM

продолжить чтение

Первый RAG комом: как мы учились анализировать ошибки автотестов с помощью LLM

Привет! Меня зовут Алексей, я автотестер в hh.ru

продолжить чтение

ИИ-агент почти без ИИ: в моём сметчике нейросеть не посчитала ни рубля

В продукте, который называется «ИИ-сметчик», нейросеть пока не посчитала ни рубля.Компания по ремонту и отделке квартир в Москве дала мне пять рабочих смет. По ним система выдала 310 замечаний (прогоны 16–21.08.2026). Самая дорогая находка — общий итог одной сметы занижен на 515 786 ₽. Это занижение нашлось ещё при обследовании смет перед ТЗ, а правило под него я написал потом, так что здесь заслуга внимательного чтения, а не кода. Код интереснее другим: 51 подтверждённое замечание он выдал сверх эталонного списка ошибок, составленного при том обследовании. В списке их не было.

продолжить чтение

МАЯК: сначала документация, потом кнопки

Я не люблю писать документацию. Чек-листы, планы тестирования, блоки проверок, схемы — вот это всё. Не люблю, потому что, пока ты это пишешь, теряется время на главное: разбираться и тестировать систему, с которой ты работаешь.Идея её автоматизации жила у меня с первого дня в ИТ — тогда мне её жизненно не хватало. Но понятного пути, как это реализовать, не было ни в голове, ни в OSS, нигде. Ну или я не нашёл — такой вариант тоже не отметаю.

продолжить чтение

Я написал 61 тест для AI-ментора. Потом выяснилось, что тестам тоже нельзя верить

Репетитора не нанимают по резюме. Ему дают тетрадь реального ученика и смотрят не на то, знает ли он ответ, а на то, где он остановится. Подскажет, в какой строке ошибка, или перепишет задачу за ученика? Скажет «не знаю, давай проверим» или уверенно додумает?Месяц назад я встроил в свою учебную платформу AI-ментора: он видит уроки, прогресс студента и его последнюю попытку по заданию. Чтобы не выбирать модель и не править промпт по ощущениям, я собрал стенд из автоматических проверок и начал принимать решения по его цифрам.

продолжить чтение

Мировой кризис качества ПО: все правда так плохо?

продолжить чтение

Как мы проверяем, какие данные остаются в тексте после маскировки перед LLM

Вот результат обработки искусственного документа нашим локальным Pii-Mask:{{PERSON_1}}, инженер. Номер в отраслевом реестре: Z-99-65432104. Маскер закрыл ФИО, но оставил номер. Здесь он вымышленный; в настоящем документе такой идентификатор может позволить найти человека в открытом реестре. Успешное завершение маскера этого не исключает.Перед передачей текста в модель мы ищем в нем известные идентификаторы документа. Список для этой проверки составляется по исходному материалу: если брать только найденные маскером сущности, пропущенный идентификатор не попадет в список для проверки.Что проверяем

продолжить чтение

Где сломался AI-агент? Как отлаживать многоэтапные воркфлоу по шагам

Расследование инцидента состоит из цепочки взаимосвязанных решений. Сначала нужно определить, когда началась проблема, затем понять, какие системы она затронула, проверить исходную гипотезу по метрикам, логам или трейсам и, наконец, свести все собранные данные воедино, чтобы установить наиболее вероятную первопричину.Мы построили агентный воркфлоу по той же схеме. Каждый этап отвечает за свою часть расследования и передаёт результат следующему.

продолжить чтение

Прогнали GigaChat 3.5 по реальным кейсам: Результаты большого тест‑драйва

В начале сентября Сбер неожиданно выложил открытые веса своей модели GigaChat 3.5 432B. Таким образом, любая компания в России может развернуть эту модель на своем сервере(при наличии мощного железа). И казалось бы, это может в корне переломить ситуацию с суверенными моделями в России, так как эта модель думающая. И у меня возник вопрос: а возможно ли использовать эту модель для создания ИИ‑агентов?Приготовьтесь, в статье будет много скриншотов по нашим результатам на боевом сервере.

продолжить чтение

Три итерации до полезного ИИ: как мы автоматизировали тестирование в ELMA365

Всем привет! Меня зовут Татьяна Веселова. Я руководитель направления ELMA в департаменте CRM&BPM.На каждом проекте и перед релизом аналитики мы всегда проводим тестирование функционала: проверяем формы, роли, согласования и сценарии, которые могли не заработать или сломаться после очередной доработки. Выделенных тестировщиков у нас нет, поэтому эта рутина регулярно съедала время у тех, кому нужно заниматься требованиями, документацией, архитектурой и клиентами.

продолжить чтение

1...456789...2030...43