Как найти причину ошибок AI-фичи и проверить её с помощью тестового оракула
Материал подготовлен в рамках нового курса Otus «ИИ в тестировании: ускорение процессов и проверка ИИ-функций»Предположим, в CRM появилась кнопка «Составить резюме обращения». Она передаёт переписку языковой модели и возвращает короткий текст для следующего оператора. QA нужно проверить функцию перед релизом, но уже на первом сценарии возникает вопрос: что записывать в expected result?Возьмём учебный диалог. Все ответы ниже составлены для разбора, это не результаты эксперимента с конкретной моделью.
Как тестировать AI-фичу, если у неё нет одного правильного ответа
Материал подготовлен в рамках нового курса Otus «ИИ в тестировании: ускорение процессов и проверка ИИ-функций»Предположим, в CRM появилась кнопка «Составить резюме обращения». Она передаёт переписку языковой модели и возвращает короткий текст для следующего оператора. QA нужно проверить функцию перед релизом, но уже на первом сценарии возникает вопрос: что записывать в expected result?Возьмём учебный диалог. Все ответы ниже составлены для разбора, это не результаты эксперимента с конкретной моделью.
Шестнадцать обещаний и две модели, которые пытались их нарушить: как мы выпускали skillmem 0.12
skillmem — это локальная память для кодовых агентов: MCP-сервер поверх SQLite с девятью инструментами mem_*. Одну базу делят Claude Code, Codex, Cursor и другие клиенты. На Хабре уже были две статьи о нём: как чужой README становился правилом пользователя и сорок раундов ревью. Эта статья — третья и, надеюсь, последняя про ревью.Почему «ревьюить, пока не станет чисто» не работает
Оценка AI‑агентов: 7 ошибок, из‑за которых тесты врут
Всем привет, меня зовут Сергей Прощаев, и в этой статье расскажу про семь ошибок в оценке AI‑агентов — тех самых, из‑за которых прогон тестов светится зелёным, а о деградации команда узнаёт от поддержки.У команды есть
Как ИИ-агент проходит весь цикл мобильного тестирования в hh.ru
Привет! Меня зовут Александр Чернышев, я занимаюсь тестированием мобильных приложений hh.ru
ИИ заменит QA в 2026: честный разбор мифов и реальности рынка
В последние полтора года эта дискуссия вышла из конференц-залов прямо в комментарии к вакансиям. «Зачем нанимать тестировщика, если LLM за три минуты генерирует тест-кейсы?» — спрашивают уже не только стартапы с бюджетом на стикеры. Ответ сложнее, чем кажется.Разберём, что именно умеет AI в тестировании, где находится граница его возможностей, почему «AI написал тест» не равно «тест проверяет нужное» — и куда двигается рынок.Оглавление
Как мы мигрировали с MongoDB на Cassandra за квартал: опыт использования АI-агентов
Что делать, если критически важное хранилище с миллиардами записей требует слишком много дорогого железа, а на миграцию силами инженеров уйдет целый год? Меня зовут Александр Моргунов, я инженер Авито, в этой статье я расскажу как мы провели эту миграцию всего за один квартал силами одного архитектора, не написав руками ни одной строчки продакшн-кода, лишь с помощью ИИ-агентов.
Кто нашёл больше багов — агент или человек? Мои замеры 11 недель работы с AI-тестировщиком
Одиннадцать недель я вёл дневник каждой рабочей сессии с Claude Code: сколько часов работал агент, сколько я был рядом, кто нашёл каждый дефект и что случилось с каждым кандидатом — подтверждён, снят или ушёл вопросом. Вместо впечатлений — таблица: 277 агентских часов, 213 моих, 94 подтверждённые находки. Первая версия этого счёта оказалась завышенной почти вдвое — куда делась половина, тоже расскажу.Это четвёртая статья про paranoid-qa — опенсорсный пак скиллов, который заставляет Claude Code тестировать с доказательной дисциплиной. В первых трёх я показывал методику: вердикты только с пруфами,
ИИ пишет тесты, но кто проверит ИИ: как меняется QA в 1С-командах
ИИ уже умеет генерировать тесты, разбирать легаси-код и помогать с автоматизацией QA. Но без правил и контроля он так же уверенно создает бесполезные проверки. Поэтому главный вопрос сегодня — не «можно ли применять ИИ в тестировании», а «как встроить его в процесс, чтобы качество действительно росло».Модераторы
