Нефункциональное тестирование AI-приложений — бесплатный курс от Mentorpiece
Если в случае классических приложений нефункциональное тестирование часто переносят в разряд “было бы неплохо” и оставляют на потом, то при тестировании AI-приложений так уже не получится.Например, тестирование стоимости (Costs testing). Возьмем наш реальный кейс:Для выбора основной AI-модели в приложении было проведено тестирование точности (Accuracy) и стоимости популярной AI-модели А и менее известной AI-модели Б.В результате получены интересные результаты:Модель А дает на 63% ошибок больше, чем модель Б.
Хроники Agent Driven Development трансформации .1: улучшаем agent feedback loop
Это первая статья из цикла «Хроники Agent Driven Development трансформации». В цикле я рассказываю, как постепенно перевожу реальный продакшен-проект на рельсы agent-driven development — когда LLM-агенты становятся полноценными участниками разработки, а не просто подсказчиками в автокомплите.В нулевой статье я рассказал, как ускорил прогон ~800 тестов в 6 раз — с 10 минут до 101 секунды. Это было необходимой подготовкой: если agent feedback loop занимает 10 минут на каждый цикл «сгенерировал тест → скомпилировал → запустил → получил результат», то никакой agent-driven development не взлетит.Что вы узнаете из этой статьи
Как писать изолированные интеграционные тесты с Testcontainers
Есть две основные категории тестов: модульные (или юнит-тесты) и интеграционные. Модульные тесты — маленькие, быстрые и изолированные. Они проверяют одну единицу кода, обычно функцию или метод, отдельно от остальной системы. Интеграционные тесты, наоборот, проверяют, как разные части системы работают вместе. Обычно они крупнее и могут выполняться медленнее, чем модульные. Поскольку интеграционные тесты охватывают больше сценариев, для них требуется более сложная подготовка окружения, и это препятствие приходится преодолевать.
AI-агенты в QA: как это работает на практике и где всё ещё болит
Последние полгода я активно слежу за тем, как AI-агенты проникают в сферу тестирования. Работаю QA-инженером, параллельно занимаюсь фулстек-разработкой, и тема AI-интеграций для меня не абстрактная — это то, с чем я сталкиваюсь в реальных проектах. Поэтому хочу поделиться не пересказом маркетинговых лендингов, а более-менее честной картиной: что агенты умеют, где они реально помогают, и где пока лучше не рассчитывать на магию.Сначала — что вообще такое AI-агент в контексте QAВажно разделить две вещи, которые часто путают.AI-ассистент в тестировании
Как написать песенный альбом с Suno?
В конце прошлого года написал статью про то, почему я выбрал Suno, чтобы написать шутливый альбом для поднятия настроения коллегам-айтишниками А сейчас я хочу раскрыть вопрос, как я это сделал.Волшебной кнопки "Написать хитовый альбом" пока нет.Но в Suno уже есть кнопка "Create". Прожмём её пару-тройку раз?Сначала конкретизирую заголовок. В качестве вводных данных заготовки альбома уже написаны, в виде минимума:Общая концепция альбома:жанр;темы и идеи;примерный порядок ваших 8-15 песен.Тексты
Вайб-кодер и Claude убивают стартап. Осталось немного
Каждый день из каждого утюга мы слышим про вайб-кодинг и сказки о невероятных возможностях AI. Слышим, что программисты скоро будут не нужны. Да и вообще ИИ заменит всех кожаных, держащих в руках мышку.
Перенос тест-кейсов из Яндекс Трекера в Allure TestOps одной командой с Cursor + MCP
Всем привет! Я один из лидеров стека тестирования в компании ТехВилл. Продолжаем разговор про то, как применять AI в работе так, чтобы он реально экономил время.
Your AI Should Be Writing Tests. The Unfair Advantage Every Vibe Coder Ignores
A test is a note you leave for the computer. It says: "this thing works like this, and if it ever stops working like this, let me know."That's it. Imagine you built a calculator. You write a note that says "2 + 3 must equal 5." The computer checks this note every time something changes. If your calculator suddenly returns 6, the note fires. You don't need to understand how the calculator works internally. You just know it's broken because 2 + 3 is not 6.This is the entire concept.What a test looks like in practiceBefore any code, here's the plain-English version:I have a function called calculatePrice. I give it an item that costs $10 and a quantity of 3. I expect $30 back. If I get anything else, something is wrong.In Go, that becomes:func TestCalculatePrice(t *testing.T) { got := calculatePrice(10, 3) if got != 30 { t.Errorf("expected 30, got %d", got) } }
QA метрики как база управленческих решений
Привет, Хабр! Меня зовут Кияшева Екатерина, я занимаюсь качеством. Сегодня хочу поделиться опытом о метриках качества системно. Предложить примеры, провести взаимосвязи: Метрики ⇔ Процессы ⇔ Области управления
