Как тестировать LLM-фичи: пишем автоэвалы и гоняем их в CI
Привет! У нас в проде живёт бот, который отвечает на вопросы по документации продукта — обычный RAG. Первые месяца три мы катили его, как все: поправил промпт, прогнал пяток вопросов руками, поставил в голове галочку «вроде стало лучше» и выкатил. Закончилось это предсказуемо. Коллега подкрутил промпт ретривера под свой кейс и по дороге сломал мой, причём заметили мы это через две недели по жалобе пользователя. А когда обновились на свежую версию модели, часть ответов просто уехала непонятно куда, и никто не мог сказать, стало в среднем лучше или хуже. Потому что «лучше» жило у нас в головах и мерялось настроением.
Как навыки гейм-дизайна помогают мне в работе тестировщиком
Дисклеймер: всё что написано в этой статье, не претендует на чистую правду в первой инстанции, это просто мои мысли, которые посетили мой разбитый кофеином мозг в 3 часа ночи.Привет, Хабр! Позволю себе написать немного предыстории о том, как я пришёл к написанию этой публикации:Я уже около четырёх месяцев работаю в крупной IT компании как Junior тестировщик.Проект, на котором я работаю, существует с незапамятных времён, с тех периодов развития рунета, когда слово документация ещё не было в обиходе у программистов той эпохи.
Что прокачать в IT этим летом: 60 открытых уроков
В IT легко застрять между «надо развиваться» и «непонятно, что учить дальше». Новые инструменты появляются быстрее, чем успеваешь разобраться, а случайные вебинары часто только добавляют шума.Собрали бесплатные уроки по ключевым IT‑направлениям, чтобы вы могли быстро найти тему под свою задачу: разобраться в новой технологии, закрыть пробел в знаниях, подготовиться к следующему проекту или наметить карьерный шаг. Выбирайте направление и подключайтесь к занятиям с практикующими экспертами.
Борьба с галлюцинациями и 27 часов работы: практический опыт тестирования калькулятора трудозатрат с помощью ИИ
Сразу честно, чтобы вы понимали, с кем имеете дело: я из тех душнил, которые закатывают глаза, когда в сотый раз слышат «а давайте это все сделает нейросеть». Я видел слишком много красивых демок, где ИИ за минуту генерит сотню тест-кейсов – из которых добрая половина про кнопки, которых в продукте нет, а вторая половина дублирует друг друга разными словами, не говоря уже о глубине тестирования бизнес-логики.
Держите LLM подальше от тестов чат-бота
Держите LLM подальше от тестов чат-ботаКто тестировал чат-бота, знает: на одной реплике всё просто, а на третьей-четвёртой начинается боль. Бот должен помнить имя, которое вы назвали два хода назад, держать слоты и не сваливаться в «уточните ваш запрос» на ровном месте. И как только садишься это проверять, упираешься в развилку: чем, собственно, проверять ответы многоходового диалога.Если короткоLLM, которая оценивает ответы вашего бота, — это вторая недетерминированная система. Теперь перед зелёным CI должны договориться сразу две, и договариваются они не всегда.
Внедрение ИИ-агента глазами QA: полгода от скепсиса до 1600 тестов за сутки
Привет, Хабр. Меня зовут Егор, я QA Fullstack Java в SENSE на проекте российского банка.Год назад я был уверен, что ИИ-агент в QA — это либо маркетинг, либо повод искать новую профессию. Сегодня он у меня в проекте разбирает упавшие тесты, актуализирует локаторы и пишет шаблонные кейсы по спецификациям. Расскажу, как мы прошли путь от «он не справляется с добавлением поля в класс» до 1600 рабочих тестов за сутки на хакатоне. А еще расскажу, что в итоге агент так и не научился делать.Первые шаги и первые разочарования
Тестирование требований с ИИ: что делать, когда контекст уже готов
Привет, Хабр! Меня зовут Алена Метенева, я руководитель направления по тестированию в Росгосстрахе. А это третья статья цикла про внедрение ИИ в тестирование.В первой статье я рассказывала, зачем мы вообще пошли в пилот и почему начали с ручного режима в Cursor. Во второй разбирала подготовку контекста: от простого кейса до больших ТЗ с PDF, диаграммами и макетами.Теперь двигаемся дальше: контекст уже собран и актуализирован, значит пора переходить к следующему этапу — тестированию требований с помощью ИИ.
Типы границ для классов эквивалентности
Про типы границ я впервые услышала на тренинге Алексея Баранцева. Зачем они нужны? Да просто чтобы не забыть всё проверить. Написал чек-лист, потом проверяешь себя:— Все учел? Вот эти классы эквивалентности, какие границы логические? А какие технологические? ...
AI для Тестирования (QA): краткий гайд по инструментам
В своей статье об автоматизации различных аспектов QA роли с помощью AI я писала, что с высокой вероятностью, в ближайшие годы, с помощью AI будет возможность автоматизировать большую часть рутины тестировщика. В данной статье, мне бы хотелось рассмотреть конкретные полезные инструменты для автоматизации роли QA с помощью AI. Статья ориентирована преимущественно на специалистов уровня junior/middle, а так же - на тех, кому интересно разобраться в современных AI инструментах для профессии QA
