Как найти причину ошибок AI-фичи и проверить её с помощью тестового оракула
Материал подготовлен в рамках нового курса Otus «ИИ в тестировании: ускорение процессов и проверка ИИ-функций»Предположим, в CRM появилась кнопка «Составить резюме обращения». Она передаёт переписку языковой модели и возвращает короткий текст для следующего оператора. QA нужно проверить функцию перед релизом, но уже на первом сценарии возникает вопрос: что записывать в expected result?Возьмём учебный диалог. Все ответы ниже составлены для разбора, это не результаты эксперимента с конкретной моделью.
ИИ в тестировании: от анализа требований до автоматизации
Привет, Хабр! Я хотела разместить тут перевод статьи моего коллеги, который опубликовали на Medium. Думаю, вы найдете для себя немало интересного о такой горячей теме как ИИ в тестировании приложений. Буду рада комментариям!Меня зовут Денис, я QA-инженер в EXANTE, международной брокерской платформе для торговли на мировых финансовых рынках. В моей зоне ответственности — десктопный и веб-терминалы, а также мобильные приложения.
ИИ становится рабочим инструментом 1С: что покажут на TECH EVENT
ИИ в 1С уже не ограничивается генерацией кода и экспериментами с чат-ботами. Его подключают к тестированию, мониторингу, интеграциям, корпоративным данным и внутренним бизнес-процессам. Вокруг него появляются новые подходы к разработке, документации и работе команд.На INFOSTART TECH EVENT 2026 этой теме посвящены
Кто нашёл больше багов — агент или человек? Мои замеры 11 недель работы с AI-тестировщиком
Одиннадцать недель я вёл дневник каждой рабочей сессии с Claude Code: сколько часов работал агент, сколько я был рядом, кто нашёл каждый дефект и что случилось с каждым кандидатом — подтверждён, снят или ушёл вопросом. Вместо впечатлений — таблица: 277 агентских часов, 213 моих, 94 подтверждённые находки. Первая версия этого счёта оказалась завышенной почти вдвое — куда делась половина, тоже расскажу.Это четвёртая статья про paranoid-qa — опенсорсный пак скиллов, который заставляет Claude Code тестировать с доказательной дисциплиной. В первых трёх я показывал методику: вердикты только с пруфами,
ИИ пишет тесты, но кто проверит ИИ: как меняется QA в 1С-командах
ИИ уже умеет генерировать тесты, разбирать легаси-код и помогать с автоматизацией QA. Но без правил и контроля он так же уверенно создает бесполезные проверки. Поэтому главный вопрос сегодня — не «можно ли применять ИИ в тестировании», а «как встроить его в процесс, чтобы качество действительно росло».Модераторы
Полгода экспериментов с ИИ на митапе: RAG, AI-ревью, автотесты, агенты и автообработка счетов
Мы в Синтеке разрабатываем софт для строительства, а отрасль сейчас переживает сложный период. Когда тяжело стройке, это довольно быстро чувствуют и компании, которые делают для неё ИТ. Поэтому в начале года у нас появилась общая задача от руководства и инвесторов: пересмотреть внутренние процессы и искать способы экономить время и ресурсы без потери качества. Отдельно попросили посмотреть, где в этих процессах можно использовать нейросети и AI-агентов.
Когда все тесты зелёные, а баги едут в прод
Статья подготовлена в рамках курса «Автоматизатор тестирования на JavaScript». Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Вы когда‑нибудь получали от ИИ тесты, которые «идеально проходят», а через неделю ловили баг в том самом месте, которое должно быть покрыто? Это не случайность — это симптом тавтологического тестирования.
ИИ-агент в тестировании: почему сильный результат рождается не из промпта, а из инженерного контура
Введение: агент — не оракулПредставим обычную задачу «к тестированию». В ней есть краткое описание, несколько комментариев, ссылка на документ, родительская задача, пара коммитов и стенд, который иногда доступен. Часть требований уже изменилась. Часть — живёт в коде соседней команды. Часть — существует только как договорённость между людьми.Можно потребовать от постановщика идеальный документ. Можно не начинать работу, пока не появятся критерии в правильной форме. В реальном проекте это часто означает не повышение качества, а перенос ответственности и задержку обратной связи.
Хуки Claude Code: запрещаем агенту коммитить без прогона тестов
Знакомая сцена: длинная сессия, агент поправил тест и потянулся коммитить, не прогнав тесты. Запрещающее правило никуда не делось — оно всё ещё лежало в CLAUDE.md. Просто перестало весить.
ИИ заменит QA-инженера? Мы дали ему 2000 наших тестов, чтобы проверить
Автотесты писали, чтобы экономить время. Но в какой-то момент поняли, что тратим на их обслуживание больше, чем экономим.
