- BrainTools - https://www.braintools.ru -
В последние полтора года эта дискуссия вышла из конференц-залов прямо в комментарии к вакансиям. «Зачем нанимать тестировщика, если LLM за три минуты генерирует тест-кейсы?» — спрашивают уже не только стартапы с бюджетом на стикеры. Ответ сложнее, чем кажется.
Разберём, что именно умеет AI в тестировании, где находится граница его возможностей, почему «AI написал тест» не равно «тест проверяет нужное» — и куда двигается рынок.
Прежде чем обсуждать «заменит или нет», полезно разложить QA не на «функции», а на операции — и посмотреть, что именно меняет AI на каждом из уровней.
|
Операция |
Что делает AI |
Где остаётся человек |
|
Разбор требований |
Извлекает edge cases, находит противоречия |
Решает, что реально является риском |
|
Test design |
Предлагает классы эквивалентности, boundary cases |
Выбирает достаточное покрытие |
|
Генерация тест-кейсов |
Создаёт черновики |
Валидирует ожидаемый результат |
|
API testing |
Генерирует запросы и проверки |
Проверяет бизнес-контракт |
|
UI automation |
Создаёт локаторы, скелет теста |
Архитектура фреймворка, flaky tests |
|
Test data |
Генерирует данные |
Privacy, реалистичность, распределение |
|
Regression |
Запускает тесты, анализирует результаты |
Решение о release risk |
|
Performance |
Генерирует сценарии нагрузки |
Выбор модели нагрузки, интерпретация bottleneck |
|
Тестирование LLM |
Генерирует варианты промптов |
Определяет критерий качества ответа |
|
Exploratory testing |
Предлагает сценарии |
Человеческое исследование продукта |
Последние два пункта — ключевые для понимания, куда движется рынок. К ним вернёмся отдельно.
Разговор об «ИИ в тестировании» часто смешивает принципиально разные архитектуры. Полезно разделить их по уровням сложности и зоне ответственности.
Простейший сценарий: QA пишет промпт, получает тест.
QA → prompt → LLM → test / code / report
Пример запроса: «Вот OpenAPI schema. Сгенерируй негативные тесты для POST /payments».
Работает хорошо для boilerplate. Проблема одна: модель может предложить тест, который логически красив, но не соответствует реальному бизнес-контракту. Никакой магии — это всё тот же текстовый автодополнитель, просто очень хорошо обученный.
Модель получает доступ к реальным инструментам: браузеру, API-клиенту, git, CI. Появляется agentic workflow:
1. Прочитать задачу
2. Найти существующие тесты в репозитории
3. Сгенерировать тест
4. Запустить pytest
5. Увидеть падение → исправить
6. Создать PR
Здесь риск существенно выше. Модель уже не только может ошибиться в коде, но и ошибочно выбрать стратегию проверки.
AI генерирует тест-кейсы, API-сценарии, UI-тесты, моки, фикстуры, test data, SQL, assertions. Playwright уже демонстрирует, куда движется tooling: Codegen автоматически записывает действия пользователя и предлагает устойчивые локаторы с приоритетом role/text/test-id.
Это означает: написание большого количества boilerplate-кода перестаёт быть главным конкурентным преимуществом QA Automation Engineer.
Для обычного приложения всё просто:
assert response.status_code == 200
assert response.json()[“status”] == “paid”
Для LLM-приложения уравнение другое:
response = model(prompt)
evaluate(relevance, factuality, safety, completeness, toxicity, latency, cost)
QA начинает работать не только с assertions, но и с метриками качества. Материалы Хабра за 2025-2026 годы описывают этот переход — от классического QA к AI-QA и ML Evaluation, с отдельным рассмотрением adversarial testing и паттерна LLM-as-a-Judge.
Наиболее амбициозная модель: Planner Agent → Test Designer + Risk Agent → Automation Agent → Test Runner → Evaluator Agent → Human gate.
Именно этот последний human gate делает тезис «QA больше не нужен» слишком сильным. По данным Stack Overflow Developer Survey 2025, 84% разработчиков используют или планируют использовать AI-инструменты в dev-процессах.
При этом 46% заявляют, что не доверяют точности AI-output — против 33%, которые доверяют. А 45% признают: отладка AI-generated кода отнимает больше времени, чем ожидалось.
Реальность. Автоматизация снижает стоимость создания теста, но не отменяет:
test strategy и выбор уровня тестирования,
архитектуру фреймворка и управление flaky tests,
анализ production failures,
risk-based testing,
CI/CD и работу с распределёнными системами.
Самая опасная ошибка [7] — измерять качество QA количеством написанных тестов. Сравните два профиля:
QA #1:
1000 автотестов
QA #2:
300 автотестов
+ contract tests
+ API tests
+ observability
+ risk-based coverage
Первый профиль численно больше. Второй обеспечивает реальное понимание рисков системы.
Чем дешевле генерация тестов — тем дороже становится их архитектура. AI за минуту создаёт сотни тест-кейсов. Кто будет их поддерживать через полгода — открытый вопрос.
На практике появляется новая проблема: automation bias.
Если AI написал assert response.status_code == 200, человек подсознательно принимает наличие assertion за доказательство корректности проверки. Но тест может быть бессмысленным.
Пример:
def test_payment():
response = create_payment()
assert response.status_code == 200
Что он проверяет? Только то, что сервер ответил двести. Он не проверяет:
факт списания денег,
idempotency,
поведение [8] при повторном запросе,
race condition,
rollback,
состояние базы данных,
событие в Kafka.
AI может написать технически корректный тест, который проверяет ничто из важного. Это один из ключевых аргументов в пользу инженерного QA-мышления — и одна из причин, почему профессия не исчезает.
Ситуация тоньше.
Уязвимы прежде всего детерминированные повторяемые действия:
открыть страницу → ввести логин → нажать Login → проверить текст
Именно это легко записать, сгенерировать, запустить в CI.
Exploratory testing выглядит принципиально иначе:
Что произойдёт, если…
Здесь QA исследует необычное поведение [9], несовпадение ментальной модели пользователя с продуктом, неожиданные комбинации состояний, бизнес-риски, race conditions, ошибки интеграции. Авторы практических кейсов на Хабре за 2025–2026 годы описывают снижение ценности чистого manual-профиля и движение в сторону инженеров, совмещающих testing, automation и AI-инструменты — это экспертные наблюдения практиков, а не репрезентативная отраслевая статистика.
Точнее говорить не «manual QA исчезнет», а: профиль, ограниченный повторяемым ручным regression testing, становится менее конкурентоспособным.
Допустим, есть стандартная система: Frontend → API Gateway → Payment Service → PostgreSQL → Kafka → Notification Service
Плохая AI-автоматизация создаёт:
def test_payment():
response = client.post [10](“/payments”, json=payload)
assert response.status_code == 200
Тест зелёный. Система при этом может иметь критический баг: деньги списались, Kafka-событие не ушло, downstream-сервисы не получили уведомление. Ни один assertion этого не поймает.
Хорошая стратегия разбивает покрытие по слоям:
E2E
↑
API contract
↑
Integration tests
↑ ↑
Unit DB tests
И отдельно тестирует асинхронные интеграции:
Kafka:
├── event schema
├── duplicate event
├── event ordering
└── consumer failure
Payment:
├── idempotency
├── timeout + retry
├── rollback
└── concurrency
AI здесь полезен: сгенерировать edge cases, написать boilerplate, предложить SQL, разобрать stack trace. Но архитектуру покрытия задаёт инженер.
Для idempotency тест выглядит так:
import { test, expect } from ‘@playwright/test’;
test(‘payment is idempotent’, async ({ request }) => {
const payload = { orderId: ‘12345’, amount: 1000, currency: ‘RUB’ };
const first = await request.post [11](‘/api/payments’, {
data: payload,
headers: { ‘Idempotency-Key’: ‘order-12345’ }
});
const second = await request.post [11](‘/api/payments’, {
data: payload,
headers: { ‘Idempotency-Key’: ‘order-12345’ }
});
expect(first.status()).toBe(200);
expect(second.status()).toBe(200);
expect(await second.json()).toEqual(await first.json());
});
Код вполне может написать LLM. Инженерная ценность находится выше кода: почему существует Idempotency-Key и почему повторный POST нельзя считать двумя платежами — это контекст продукта. Без него AI напишет красивый тест, который никогда не поймает реальный баг.
В материале Хабр Карьеры о требованиях к тестировщику в 2026 году отдельно выделяются программирование, автоматизация, API/микросервисы, DevOps и понимание архитектуры. В каталоге курсов по автоматизации тестирования одновременно встречаются Java, Python, JavaScript, Playwright, Selenium, Selenide, Pytest/JUnit, REST API, SQL, Docker, CI/CD, Allure, Kafka, Kubernetes.
Практический baseline для Middle QA Automation в 2026 году:
Programming: Python / Java / JS, OOP, Git
Testing: test design, API, UI, integration, contract testing
Infrastructure: Docker, CI/CD, Linux, logs
Data: SQL, JSON, базовое понимание БД
Automation: Playwright / Selenium / Selenide, pytest / JUnit, Allure
Architecture: REST, микросервисы, очереди, eventual consistency
Для Senior добавляется:
Test architecture, risk management, quality gates
Flaky-test management, observability, performance
Security basics, distributed systems, release strategy
AI-assisted engineering, LLM evaluation
Принципиальный момент: устаревает не конкретный инструмент, а профиль. Selenium продолжает развиваться — WebDriver BiDi добавляет двунаправленный стандарт для получения событий браузера, сетевых запросов, console messages и JavaScript errors. Корректнее говорить не «Selenium устарел», а: устарел профиль, где специалист знает только один UI-фреймворк.
AI может написать слишком много UI-тестов. Результат:
1000 E2E tests → CI → 200 flaky failures → QA reruns → «зелёный» pipeline
Это превращает automation в технический долг. Playwright Trace Viewer частично решает проблему диагностики: trace сохраняет действия, DOM, console, network — всё для разбора конкретного падения. Но инструмент диагностики не заменяет архитектуру тестов.
Чем дешевле генерация — тем проще получить 10 000 тестов. Стоимость появляется позже: поддержка, CI time, инфраструктура, false positives, test data, review. AI снижает стоимость написания теста, но не обязательно снижает Total Cost of Ownership теста. Это принципиальное различие, которое легко потерять из виду.
Для небольшого проекта LLM получает requirements + OpenAPI + репозиторий и выдаёт хороший результат.
Для enterprise ситуация другая: 500 микросервисов + Kafka + legacy + feature flags + security policies + 10 лет бизнес-логики.
AI не получает «понимание системы» автоматически. Практики Хабра, обсуждающие QA-агентов, отдельно указывают: нужно строить AI-систему вокруг классической тестовой пирамиды, а не пытаться скормить модели весь проект целиком.
Для LLM-приложения нет привычной модели input → exact expected output. Один и тот же input может законно давать разные формулировки ответа. Практики описывают подход: отправлять один и тот же запрос несколько раз и измерять долю некорректных ответов — а не проверять только бинарное expected == actual.
QA для LLM-продуктов должен понимать: hallucination, grounding, RAG, semantic similarity, prompt injection, jailbreak, model drift, LLM-as-a-Judge, evaluation datasets. Это уже не «тестировщик кликает кнопки» — это отдельная инженерная специализация.
Четыре курса под конкретные пробелы
Курсы здесь — не рейтинг лучших программ, а инструменты под конкретные разрывы в навыках. Цены и состав программ актуальны на момент написания статьи; перед поступлением стоит сверять данные напрямую в каталоге.
Нетология — «Инженер по тестированию» [12]. Программа закрывает переход от manual к инженерному профилю: Python или Java, API testing, Continuous Integration, Selenium, SQL, Docker, BDD, reporting, автоматизация. По данным каталога Хабр Карьеры — 8 месяцев, около 105 000 ₽ или от 3 241 ₽ в месяц, онлайн, с помощью в трудоустройстве.
Важное ограничение: программа охватывает очень широкий стек — Python/Java, Selenium, Playwright, Cypress, Docker, CI одновременно. Глубины Senior-level по каждой из технологий ожидать не стоит. Это фундамент для перехода, а не специализация.
Подробности программы — в каталоге Хабр Курсов [12]
Яндекс Практикум — «Автоматизатор тестирования на Java: расширенная версия» [13]. Стек здесь шире: Java, JUnit, Selenium, Selenide, REST Assured, API testing, SQL, Allure, Jenkins, Page Object, BDD/Cucumber, а в расширенной версии — Kafka, Docker/Kubernetes. Именно этот набор нужен, чтобы AI-generated тест был не просто красивым кодом, а частью осмысленной инфраструктуры. По данным каталога Хабр Карьеры — 6 месяцев, 149 000 ₽.
Ограничение: фокус на Java/Selenium/Selenide. Для команды, которая стандартизировалась на Python + Playwright, часть инструментального стека будет менее релевантна. Это не универсальная подготовка под любой QA stack — это глубокое погружение в конкретный.
Подробности — в каталоге Хабр Курсов [13]
ProductStar × РБК — «Профессия: Инженер по тестированию + ИИ» [14]. Наиболее органичный вариант именно для темы статьи: в программе есть отдельный блок ChatGPT для разработчика — debugging, повышение качества кода, code review, автоматическое тестирование, генерация кода. Основная программа при этом включает manual testing, Java, Python, UI, API, SQL, CI/CD, Allure, Selenium/Selenide. Цена по данным каталога — около 60 134 ₽ единым платежом или от 2 088 ₽ в месяц.
Важная оговорка: наличие блока ChatGPT не означает полноценную подготовку AI-QA / ML Evaluation Engineer. Акцент — на использовании AI как инструмента разработки, а не на глубоком тестировании самих LLM: evaluation datasets, RAG evaluation, adversarial testing, prompt injection в программе не рассматриваются. Для кого-то это именно то, что нужно; для кого-то — стартовая точка.
Подробности — в каталоге Хабр Курсов [14]
Stepik — «Нагрузочное тестирование на Python. Расширенный» [15]
После того как AI может написать тысячу функциональных тестов, возникает следующий слой вопросов: выдержит ли система тысячу пользователей? Программа покрывает: Python, Locust, Kafka, gRPC, FastAPI, Docker, Grafana, PostgreSQL, Redis, GitLab CI — плюс блок AI Review. Цена по данным каталога — 14 990 ₽, продолжительность около месяца.
Ограничение: это узкая performance-oriented программа, а не полный путь в QA Automation. Без базы по тестированию, Python и API часть материала будет значительно сложнее усвоить.
Подробности — в каталоге Хабр Курсов [15]
Самая честная формулировка для 2026 года: ИИ не заменяет тестировщика целиком. Он заменяет всё большую долю механической работы — и одновременно повышает требования к тем, кто отвечает за стратегию качества, архитектуру автоматизации, анализ рисков и проверку самого AI.
Наиболее уязвим не «тестировщик вообще», а профиль, ограниченный повторяемым ручным regression testing. Наиболее содержательная зона роста: QA Automation → Quality Engineering → AI-assisted QA → AI/LLM Evaluation.
Чем дешевле становится генерация тестов — тем ценнее становится способность решить, что именно нужно проверять.
Можно ли сейчас полностью автоматизировать QA с помощью AI?
Для небольших проектов с хорошей документацией и детерминированными требованиями — частично: генерация boilerplate, API-тесты, простые UI-сценарии. Для production-систем с legacy, микросервисами и накопленной бизнес-логикой — нет. Контекстное окно LLM не заменяет понимание системы, которое накапливается месяцами работы с продуктом.
Стоит ли сейчас идти в ручное тестирование?
Если цель — долгосрочная карьера, лучше сразу закладывать инженерную базу: Python или Java, API, SQL, Docker, CI/CD. Чистый manual-профиль сужается. Как часть более широкого инженерного профиля — ручное тестирование остаётся ценным навыком.
Что такое LLM-as-a-Judge и зачем это знать QA?
Паттерн, при котором другая языковая модель оценивает качество ответа тестируемой модели. Используется, когда нет детерминированного expected output — например, при проверке качества ответов чат-бота или результатов RAG-системы. Знание этого паттерна становится базовым для тех, кто тестирует AI-продукты.
Автор: top_picks_edu
Источник [16]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/35914
URLs in this post:
[1] Что уже умеет AI: операции, а не профессия целиком: https://habr.com/ru/articles/1084258/#:~:text=FAQ-,%D0%A7%D1%82%D0%BE%20%D1%83%D0%B6%D0%B5%20%D1%83%D0%BC%D0%B5%D0%B5%D1%82%20AI%3A%20%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D0%B8%2C%20%D0%B0%20%D0%BD%D0%B5%20%D0%BF%D1%80%D0%BE%D1%84%D0%B5%D1%81%D1%81%D0%B8%D1%8F%20%D1%86%D0%B5%D0%BB%D0%B8%D0%BA%D0%BE%D0%BC,-%D0%9F%D1%80%D0%B5%D0%B6%D0%B4%D0%B5%20%D1%87%D0%B5%D0%BC%20%D0%BE%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B0%D1%82%D1%8C
[2] Как устроен AI-QA под капотом: пять уровней: https://habr.com/ru/articles/1084258/#:~:text=%D0%BD%D0%B8%D0%BC%20%D0%B2%D0%B5%D1%80%D0%BD%D1%91%D0%BC%D1%81%D1%8F%20%D0%BE%D1%82%D0%B4%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE.-,%D0%9A%D0%B0%D0%BA%20%D1%83%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BD%20AI%2DQA%20%D0%BF%D0%BE%D0%B4%20%D0%BA%D0%B0%D0%BF%D0%BE%D1%82%D0%BE%D0%BC%3A%20%D0%BF%D1%8F%D1%82%D1%8C%20%D1%83%D1%80%D0%BE%D0%B2%D0%BD%D0%B5%D0%B9,-%D0%A0%D0%B0%D0%B7%D0%B3%D0%BE%D0%B2%D0%BE%D1%80%20%D0%BE%D0%B1%20%C2%AB%D0%98%D0%98
[3] Практический кейс: payment service, Kafka и настоящая проблема: https://habr.com/ru/articles/1084258/#:~:text=%D0%BC%D0%B5%D0%BD%D0%B5%D0%B5%20%D0%BA%D0%BE%D0%BD%D0%BA%D1%83%D1%80%D0%B5%D0%BD%D1%82%D0%BE%D1%81%D0%BF%D0%BE%D1%81%D0%BE%D0%B1%D0%BD%D1%8B%D0%BC.-,%D0%9F%D1%80%D0%B0%D0%BA%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9%20%D0%BA%D0%B5%D0%B9%D1%81%3A%20payment%20service%2C%20Kafka%20%D0%B8%20%D0%BD%D0%B0%D1%81%D1%82%D0%BE%D1%8F%D1%89%D0%B0%D1%8F%20%D0%BF%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC%D0%B0,-%D0%94%D0%BE%D0%BF%D1%83%D1%81%D1%82%D0%B8%D0%BC%2C%20%D0%B5%D1%81%D1%82%D1%8C%20%D1%81%D1%82%D0%B0%D0%BD%D0%B4%D0%B0%D1%80%D1%82%D0%BD%D0%B0%D1%8F
[4] Рынок 2026: что становится базовым требованием: https://habr.com/ru/articles/1084258/#:~:text=%D0%BF%D0%BE%D0%B9%D0%BC%D0%B0%D0%B5%D1%82%20%D1%80%D0%B5%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9%20%D0%B1%D0%B0%D0%B3.-,%D0%A0%D1%8B%D0%BD%D0%BE%D0%BA%202026%3A%20%D1%87%D1%82%D0%BE%20%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%B8%D1%82%D1%81%D1%8F%20%D0%B1%D0%B0%D0%B7%D0%BE%D0%B2%D1%8B%D0%BC%20%D1%82%D1%80%D0%B5%D0%B1%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC,-%D0%92%20%D0%BC%D0%B0%D1%82%D0%B5%D1%80%D0%B8%D0%B0%D0%BB%D0%B5%20%D0%A5%D0%B0%D0%B1%D1%80
[5] Четыре подводных камня: https://habr.com/ru/articles/1084258/#:~:text=UI%2D%D1%84%D1%80%D0%B5%D0%B9%D0%BC%D0%B2%D0%BE%D1%80%D0%BA.-,%D0%A7%D0%B5%D1%82%D1%8B%D1%80%D0%B5%20%D0%BF%D0%BE%D0%B4%D0%B2%D0%BE%D0%B4%D0%BD%D1%8B%D1%85%20%D0%BA%D0%B0%D0%BC%D0%BD%D1%8F,-1.%20Flaky%20tests
[6] FAQ: https://habr.com/ru/articles/1084258/#:~:text=%D0%BD%D1%83%D0%B6%D0%BD%D0%BE%20%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D1%8F%D1%82%D1%8C.-,FAQ,-%D0%9C%D0%BE%D0%B6%D0%BD%D0%BE%20%D0%BB%D0%B8%20%D1%81%D0%B5%D0%B9%D1%87%D0%B0%D1%81
[7] ошибка: http://www.braintools.ru/article/4192
[8] поведение: http://www.braintools.ru/article/9372
[9] поведение: http://www.braintools.ru/article/5593
[10] client.post: http://client.post
[11] request.post: http://request.post
[12] Нетология — «Инженер по тестированию»: https://career.habr.com/courses/programmirovanie/testirovanie?educationPlatforms%5B%5D=10-netologiya&?utm_source=habr_edu&utm_medium=picks_edu&utm_campaign=r&utm_content=ii_zamenit_QA_testy_text_podborka
[13] Яндекс Практикум — «Автоматизатор тестирования на Java: расширенная версия»: https://career.habr.com/courses/programmirovanie/testirovanie?educationPlatforms%5B%5D=35-yandeks-praktikum&?utm_source=habr_edu&utm_medium=picks_edu&utm_campaign=r&utm_content=ii_zamenit_QA_testy_text_podborka
[14] ProductStar × РБК — «Профессия: Инженер по тестированию + ИИ»: https://career.habr.com/courses/programmirovanie/testirovanie?durations%5B%5D=moreHalf&educationPlatforms%5B%5D=122-productstar-rbk&?utm_source=habr_edu&utm_medium=picks_edu&utm_campaign=r&utm_content=ii_zamenit_QA_testy_text_podborka
[15] Stepik — «Нагрузочное тестирование на Python. Расширенный»: https://career.habr.com/courses/programmirovanie/nagruzochnoe-testirovanie?educationPlatforms%5B%5D=27-stepik&?utm_source=habr_edu&utm_medium=picks_edu&utm_campaign=r&utm_content=ii_zamenit_QA_testy_text_podborka
[16] Источник: https://habr.com/ru/articles/1084258/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1084258
Нажмите здесь для печати.