Тесты для кода, который пишет ИИ: контракты вместо ассертов — создание сервера для онлайн ММО игр на PHP, ч. 20
Часть 20: контракты вместо ассертов — проверка того, что не ложится в юнит-тест.
Playwright не спасает от флапающих тестов: разбираемся, как он ждёт на самом деле
Привет, Хабр! Playwright продают примерно так: автоожидание встроено, sleep перед кликом писать не надо, флапающие тесты остались в эпохе Selenium. Обещание не пустое — механика внутри действительно крутая, и первые тесты правда пишутся как по маслу.А потом набор дорастает до полутора сотен тестов, уезжает в CI, и вы видите знакомую картину. Локально всё зелёное. На пайплайне падает через раз. Каждый раз в новом месте. Кто‑то предлагает добавить ретраев, кто‑то — «просто подождать подольше», и через месяц у вас набор, которому никто не верит.
ИИ заменит QA-инженера? Мы дали ему 2000 наших тестов, чтобы проверить
Автотесты писали, чтобы экономить время. Но в какой-то момент поняли, что тратим на их обслуживание больше, чем экономим.
Как мы научили AI разбирать упавшие автотесты и заводить баги в Трекере
Всем привет, меня зовут Олег. В прошлой статье я рассказывал, как генерить автотесты из Swagger и тест-кейсов
Процессы vs инструменты: как Авито Sales строит QA с нулевыми сдвигами сроков
Привет, Хабр! На связи Екатерина Серикова и Глеб Дмитриев, мы QA-инженеры в команде Авито Sales. В этой статье мы расскажем, как выстроили процесс обеспечения качества в Распродаже, где сроки нельзя сдвигать, а нагрузка на корчасть почти 2 млн RPM, а цена бага очень высока.Это не история про «идеальный процесс». Она скорее про рабочую систему, которая помогает не сгореть команде и не терять качество, когда QA в проекте один, а разработчиков восемь.
Как мы превратили Swagger из документации в двигатель API-автотестов
Всем привет! Меня зовут Олег Малышев. Я один из лидеров стека тестирования в компании «ТехВилл»
Генерация автотестов с ИИ: почему первый PR растянулся на две недели и что изменилось после анализа фреймворка
Всем привет! Я продолжаю свой цикл статей про применение ИИ в тестировании. Мы уже успели поговорить про:ИИ в тестировании: зачем мы пошли в пилот и почему начали с чата, а не с агентовКонтекст для LLM в тестировании: от калькулятора страховой премии до ТЗ на сотню страницТестирование требований с ИИ: что делать, когда контекст уже готовГенерация тестовой документации с ИИ
Автотесты: опыт построения системы качества для Kubernetes-платформы
На старте проекта у нас не было ни одного автотеста. При этом продукт уже представлял собой полноценную платформу контейнеризации на базе Kubernetes с большим количеством управляемых сервисов и единой консолью управления. Любое изменение могло затронуть базы данных, брокеры сообщений, системы хранения данных или внутренние управляющие компоненты платформы.
Держите LLM подальше от тестов чат-бота
Держите LLM подальше от тестов чат-ботаКто тестировал чат-бота, знает: на одной реплике всё просто, а на третьей-четвёртой начинается боль. Бот должен помнить имя, которое вы назвали два хода назад, держать слоты и не сваливаться в «уточните ваш запрос» на ровном месте. И как только садишься это проверять, упираешься в развилку: чем, собственно, проверять ответы многоходового диалога.Если короткоLLM, которая оценивает ответы вашего бота, — это вторая недетерминированная система. Теперь перед зелёным CI должны договориться сразу две, и договариваются они не всегда.
Клод в шестернях
Когда эксперт впервые увидел, как эта машина ведёт себя в динамике, он сказал, что без курсов по двигателям и трансмиссиям меня к такому тренажёру подпускать нельзя. Он был прав.Меня позвали перенести с Unity на Unigine тренажёр гусеничной машины: железная кабина на динамической платформе, заказчик, сроки, приёмка и эксперты, которые ездили на этой машине и помнили, как она ведёт себя в разных режимах и условиях. К середине проекта я решил, что новую физику машины проще написать с нуля, чем дальше вбивать костыли в старую модель. И да, там будет Патрик Суэйзи.
