Тестирование ML-систем: сложности, факапы и рабочие практики
Привет! Сегодня хочу поделиться опытом тестирования на ML-проекте. По моему опыту, о машинном обучении говорят много, а вот о его тестировании — заметно реже. На истину в последней инстанции не претендую, но надеюсь быть полезным. Если у вас был опыт тестирования ML – буду рад обсудить в комментариях!На всякий случай напомню: меня зовут Максим Белопросов, я QA Team Lead в компании 1221Systems и один из ответственных за направление автоматизированного тестирования.В этой статье я хочу рассказать:
Хроники Agent Driven Development трансформации .1: улучшаем agent feedback loop
Это первая статья из цикла «Хроники Agent Driven Development трансформации». В цикле я рассказываю, как постепенно перевожу реальный продакшен-проект на рельсы agent-driven development — когда LLM-агенты становятся полноценными участниками разработки, а не просто подсказчиками в автокомплите.В нулевой статье я рассказал, как ускорил прогон ~800 тестов в 6 раз — с 10 минут до 101 секунды. Это было необходимой подготовкой: если agent feedback loop занимает 10 минут на каждый цикл «сгенерировал тест → скомпилировал → запустил → получил результат», то никакой agent-driven development не взлетит.Что вы узнаете из этой статьи
AI-агенты в QA: как это работает на практике и где всё ещё болит
Последние полгода я активно слежу за тем, как AI-агенты проникают в сферу тестирования. Работаю QA-инженером, параллельно занимаюсь фулстек-разработкой, и тема AI-интеграций для меня не абстрактная — это то, с чем я сталкиваюсь в реальных проектах. Поэтому хочу поделиться не пересказом маркетинговых лендингов, а более-менее честной картиной: что агенты умеют, где они реально помогают, и где пока лучше не рассчитывать на магию.Сначала — что вообще такое AI-агент в контексте QAВажно разделить две вещи, которые часто путают.AI-ассистент в тестировании
Вайб-кодер и Claude убивают стартап. Осталось немного
Каждый день из каждого утюга мы слышим про вайб-кодинг и сказки о невероятных возможностях AI. Слышим, что программисты скоро будут не нужны. Да и вообще ИИ заменит всех кожаных, держащих в руках мышку.
Я просто хотел, чтобы код от Claude не поломался через месяц. Пришлось сделать runtime для воспроизводимости AI-кода
Три месяца назад я попросил Claude написать мне Express API. Два эндпоинта, тесты, стандартная скука. Через 40 секунд всё работало. npm test — зелёное. Я закрыл терминал и пошёл спать с ощущением человека, который живёт в будущем.Через 28 дней я открыл этот проект. npm test — красное. Express обновился. Jest поменял поведение. Lockfile уехал. Код, который писал не я, сломался по причинам, которые не имели отношения к коду.Я сделал то, что делают все: попросил Claude написать заново. Он написал. Другой код. Другая структура. Другие баги. Тесты прошли. Через две недели сломались снова.
«Важно доставлять, а не понимать» — идеальный способ работы с нейросетями
«Важно доставлять, а не понимать» — звучит модно, а ломает всё по классике.Последние месяцы я вижу одну и ту же сцену.Кто-то начинает активно применять нейросети в разработке — и первые недели ощущение кайфовое: код появляется быстрее, задач закрывается больше, “как будто полетели”.А потом начинаются знакомые фразы:“стало больше багов, хотя писали быстрее”“вроде всё правильно, но не работает”“оно компилируется, значит норм”“главное — доставлять, а не понимать”Вот с последним тезисом я не согласен.
Может ли ИИ заменить QA?
Уже несколько лет подряд у всех на слуху ИИ и тезисы о том, что он заменит человечество, а если и не заменит, то ускорит до немыслимых высот. Сегодня я хотела бы подискутировать на эту тему в области обеспечения качества, хотя рискую, кажется, оказаться в ряду динозавров.Всем привет, меня зовут Настя, я QA Lead, преподаватель курса «JavaScript QA Engineer»
15 промптов ChatGPT для QA
СодержаниеЗачем QA-инженеру промпты? Блок 1. Анализ требований Промпт #1: GAP-анализ требований Промпт #2: Матрица тест-покрытия Блок 2. Тест-дизайн Промпт #3: Boundary Value Analysis + бизнес-логика Промпт #4: State Transition Testing Блок 3. Работа с багами Промпт #5: Root Cause Analysis (5 Why's) Промпт #6: Баг-репорт по стандарту IEEE 829 Блок 4. Тестовые данные Промпт #7: Генерация реалистичных тестовых данных
Беда «войти в айти» или курсы тестировщика отзывы: Наконец, QA-курсы закрываются
Хорошая новость: рекламы “тестирование - это легкий вход в айти” от крупных онлайн-платформ больше нет, экономика вместе с IT-наймом упали и курсы по тестированию начали закрываться.Плохая новость: первыми закрываются курсы с уровнем трудоустройств студентов 50%. А не те, после которых офферы в IT получают 5%. Значит, инфоцыган пропорционально становится только больше.Последний уезжающий — выключи светШироко известный в узких кругах Артем Русов больше не набирает учебные группы по тестированию. Не менее известный Леша Маршал
