Как тестировать 5 LLM-агентов одним набором тестов: capability-based подход
Один набор тестов проверяет всех агентов сразу — в этом суть capability-based подходаВ (https://habr.com/ru/articles/1049482/) я разбирала,
AI‑ассистент пишет код: 8 антипаттернов, из‑за которых он падает в проде
Всем привет, меня зовут Сергей Прощаев, и в этой статье я расскажу про антипаттерны работы с AI‑ассистентом кода — те, из‑за которых сгенерированный код спокойно проходит ревью, мёржится с зелёными тестами, а потом превращается в ночной инцидент.
Автотесты: опыт построения системы качества для Kubernetes-платформы
На старте проекта у нас не было ни одного автотеста. При этом продукт уже представлял собой полноценную платформу контейнеризации на базе Kubernetes с большим количеством управляемых сервисов и единой консолью управления. Любое изменение могло затронуть базы данных, брокеры сообщений, системы хранения данных или внутренние управляющие компоненты платформы.
ИИ позволил Samsung сократить время на тестирование электронных изделий с 15 до 2 дней
Samsung Electronics начала масштабный переход на «автономные ИИ‑фабрики» и уже сократила время тестирования электронной продукции с 15 до 2 дней. Об этом
Как научить ИИ-ассистента писать тесты и моделировать угрозы безопасности в процессе кодинга
Главная уязвимость ИИ-кодогенерацииОсновная претензия к коду, написанному искусственным интеллектом, заключается в низком уровне его надежности и безопасности. Стремясь как можно быстрее выдать работающее решение, языковые модели часто пренебрегают тестами, игнорируют обработку крайних случаев и допускают критические уязвимости вроде SQL-инъекций или межсайтового скриптинга (XSS).
Генерация тестовой документации с ИИ
Всем привет! Продолжаю цикл статей про применение ИИ в тестировании. В первой я рассказывала о том, зачем мы пошли в пилот по применению ИИ в тестировании. Во второй — как собирать контекст. В третьей — как тестировать требования, когда контекст уже готов.Сегодня поговорим про следующий этап — генерацию тестовой документации: тест-кейсы, чек-листы, матрица покрытия и т.д. Небольшой спойлер: в конце статьи вас ждет ссылка на репозиторий с инструкциями и промтами.
Как интегрировать нейросети в работу тестировщика
Эта статья основана на реальном опыте использования Claude в работе QA-инженера. Все оценки времени — практические, не теоретические. Работа тестировщика предполагает много разных задач: написать чек-листы, оформить баг-репорты, прочитать очередное техническое задание и составить тестовую документацию, которую, скорее всего, кроме него никто не увидит. На это уходят часы, которые могли бы идти на реальное тестирование, исследование продукта или профессиональный рост.
Как тестировать LLM-фичи: пишем автоэвалы и гоняем их в CI
Привет! У нас в проде живёт бот, который отвечает на вопросы по документации продукта — обычный RAG. Первые месяца три мы катили его, как все: поправил промпт, прогнал пяток вопросов руками, поставил в голове галочку «вроде стало лучше» и выкатил. Закончилось это предсказуемо. Коллега подкрутил промпт ретривера под свой кейс и по дороге сломал мой, причём заметили мы это через две недели по жалобе пользователя. А когда обновились на свежую версию модели, часть ответов просто уехала непонятно куда, и никто не мог сказать, стало в среднем лучше или хуже. Потому что «лучше» жило у нас в головах и мерялось настроением.
Как навыки гейм-дизайна помогают мне в работе тестировщиком
Дисклеймер: всё что написано в этой статье, не претендует на чистую правду в первой инстанции, это просто мои мысли, которые посетили мой разбитый кофеином мозг в 3 часа ночи.Привет, Хабр! Позволю себе написать немного предыстории о том, как я пришёл к написанию этой публикации:Я уже около четырёх месяцев работаю в крупной IT компании как Junior тестировщик.Проект, на котором я работаю, существует с незапамятных времён, с тех периодов развития рунета, когда слово документация ещё не было в обиходе у программистов той эпохи.
Что прокачать в IT этим летом: 60 открытых уроков
В IT легко застрять между «надо развиваться» и «непонятно, что учить дальше». Новые инструменты появляются быстрее, чем успеваешь разобраться, а случайные вебинары часто только добавляют шума.Собрали бесплатные уроки по ключевым IT‑направлениям, чтобы вы могли быстро найти тему под свою задачу: разобраться в новой технологии, закрыть пробел в знаниях, подготовиться к следующему проекту или наметить карьерный шаг. Выбирайте направление и подключайтесь к занятиям с практикующими экспертами.
