Тест проходит даже с багом: что показал эксперимент Дэна Лу
Пусть функция должна разворачивать строку. Агент написал тест: на входе abba, на выходе ожидается abba. Тест зеленый. Он останется зеленым, если функция вообще ничего не делает.Пример учебный, но ошибка выбора входа реальная: в одном из прогонов эксперимента Дэна Лу агент проверял разворот битового потока на палиндроме. Назвал рискованное место, независимо вывел результат, провел аудит - и все равно не обнаружил ошибку. Проверка была, различия между правильным и неправильным поведением в ней не было.
Нейросеть написала PR, тесты зелёные, а поведение изменилось. Как я научил CI это ловить
Отчёт confidence‑scorer: найден контрпример, score 35/100
Когда все тесты зелёные, а баги едут в прод
Статья подготовлена в рамках курса «Автоматизатор тестирования на JavaScript». Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Вы когда‑нибудь получали от ИИ тесты, которые «идеально проходят», а через неделю ловили баг в том самом месте, которое должно быть покрыто? Это не случайность — это симптом тавтологического тестирования.
