Борьба с галлюцинациями и 27 часов работы: практический опыт тестирования калькулятора трудозатрат с помощью ИИ
Сразу честно, чтобы вы понимали, с кем имеете дело: я из тех душнил, которые закатывают глаза, когда в сотый раз слышат «а давайте это все сделает нейросеть». Я видел слишком много красивых демок, где ИИ за минуту генерит сотню тест-кейсов – из которых добрая половина про кнопки, которых в продукте нет, а вторая половина дублирует друг друга разными словами, не говоря уже о глубине тестирования бизнес-логики.
Держите LLM подальше от тестов чат-бота
Держите LLM подальше от тестов чат-ботаКто тестировал чат-бота, знает: на одной реплике всё просто, а на третьей-четвёртой начинается боль. Бот должен помнить имя, которое вы назвали два хода назад, держать слоты и не сваливаться в «уточните ваш запрос» на ровном месте. И как только садишься это проверять, упираешься в развилку: чем, собственно, проверять ответы многоходового диалога.Если короткоLLM, которая оценивает ответы вашего бота, — это вторая недетерминированная система. Теперь перед зелёным CI должны договориться сразу две, и договариваются они не всегда.
Внедрение ИИ-агента глазами QA: полгода от скепсиса до 1600 тестов за сутки
Привет, Хабр. Меня зовут Егор, я QA Fullstack Java в SENSE на проекте российского банка.Год назад я был уверен, что ИИ-агент в QA — это либо маркетинг, либо повод искать новую профессию. Сегодня он у меня в проекте разбирает упавшие тесты, актуализирует локаторы и пишет шаблонные кейсы по спецификациям. Расскажу, как мы прошли путь от «он не справляется с добавлением поля в класс» до 1600 рабочих тестов за сутки на хакатоне. А еще расскажу, что в итоге агент так и не научился делать.Первые шаги и первые разочарования
Тестирование требований с ИИ: что делать, когда контекст уже готов
Привет, Хабр! Меня зовут Алена Метенева, я руководитель направления по тестированию в Росгосстрахе. А это третья статья цикла про внедрение ИИ в тестирование.В первой статье я рассказывала, зачем мы вообще пошли в пилот и почему начали с ручного режима в Cursor. Во второй разбирала подготовку контекста: от простого кейса до больших ТЗ с PDF, диаграммами и макетами.Теперь двигаемся дальше: контекст уже собран и актуализирован, значит пора переходить к следующему этапу — тестированию требований с помощью ИИ.
Типы границ для классов эквивалентности
Про типы границ я впервые услышала на тренинге Алексея Баранцева. Зачем они нужны? Да просто чтобы не забыть всё проверить. Написал чек-лист, потом проверяешь себя:— Все учел? Вот эти классы эквивалентности, какие границы логические? А какие технологические? ...
AI для Тестирования (QA): краткий гайд по инструментам
В своей статье об автоматизации различных аспектов QA роли с помощью AI я писала, что с высокой вероятностью, в ближайшие годы, с помощью AI будет возможность автоматизировать большую часть рутины тестировщика. В данной статье, мне бы хотелось рассмотреть конкретные полезные инструменты для автоматизации роли QA с помощью AI. Статья ориентирована преимущественно на специалистов уровня junior/middle, а так же - на тех, кому интересно разобраться в современных AI инструментах для профессии QA
Один промпт разросся в регламент: как я разделяю ответственность внутри AI-навыка
У меня был рабочий AI-навык для инженерных задач. Сначала он выглядел как обычная инструкция: роль, задача, формат ответа и несколько ограничений. Этого хватало, пока сценарии были короткими: посмотреть фрагмент кода, подсказать план, разобрать очевидную ошибку.Потом навык начал получать задачи сложнее. Например: “посмотри PR перед merge”. В такой фразе много скрытой работы. Нужно понять, что меняется, какие есть ограничения, где может быть риск, чем подтверждён вывод, какие замечания действительно блокируют принятие изменений, а какие остаются пожеланиями.
Маленький файл robots.txt и большие последствия одной строки
Автор: Иван Богданов, Технический писатель Почти за каждым сайтом стоит человек, которому небезразлично, приходят ли туда люди. Для кого-то сайт — это бизнес, источник заказов и клиентов. Для кого-то — увлечение, личный блог или сообщество по интересам. Разница тут велика, и всё же владельцы в обоих случаях заинтересованы в одном и том же. Им нужно, чтобы на сайт заходили, и желательно именно те, кому его содержимое действительно нужно.
