Я запретил Claude говорить «всё работает» без пруфов. Это изменило всё
Пару месяцев назад я попросил агента проверить форму обратной связи после рефакторинга. Через несколько минут получил отчёт: все проверки пройдены, форма работает корректно. Зелёные галочки, уверенный тон.Я тогда только начинал отдавать тестирование агенту, поэтому работал по схеме «доверяй, но проверяй»: следом прошёл форму руками, с открытой вкладкой Network. Снаружи всё честно: валидация зелёная, кнопка активная, тост «Спасибо!» показывается, сервер отвечает 200. А в payload вместо темы обращения уходит строка . Агент проверил всё, кроме того, что реально уходит на сервер.
Обновление Test IT ПРО 5.8 Fornax: ИИ-ассистент в вашем контуре, новый интерфейс прогонов и быстрый старт автотестов
FornaxКомпания Test IT представила обновление коробочной поставки одноименной платформы управления тестированием – версию ПРО 5.8 Fornax. В фокусе релиза – развитие искусственного интеллекта внутри платформы, удобная работа с прогонами автотестов и снижение порога входа в автоматизацию.
Чек-лист тестирования поисковой системы: от engine sanity до RAG и графов знаний
Чек-лист для тестирования поисковых и RAG-систем — от базовой работоспособности поискового движка до качества генерации, агентных сценариев и поведения на неполных данных. Шесть уровней проверок, сводная таблица с инструментами для каждого уровня и глоссарий из 50+ терминов. Проверку стоит организовывать по порядку, нет смысла гонять RAG-метрики, если система не проходит Уровень 0, то проблема может быть в том, что поиск не находит документ из-за опечатки в запросе, а не в качестве генерации. Перед тестированием По каким полям/источникам поиск должен работать, по каким — нет
Оптимизация тестовой модели с ИИ: как актуализировать тест-кейсы, чтобы не было больно
Всем привет! Я продолжаю цикл статей про применение ИИ в тестировании. Мы уже успели поговорить про анализ требований, создание тестовой документации и автотесты, т.е. разобрали весь shift-left с ИИ. Но у QA-инженера есть много других задач, с которыми ИИ также может помочь.
Нейросеть-автопилот вместо 400 Playwright-тестов
Продолжаю цикл статей из мира соло-разработки больших систем.Первый месяц создания игры - медовый. Баги видны почти сразу, работа спорится. Но потом начинается настоящая работа. Баги становятся очень неприятными, когда ты находишь их после двух часов игры.Например, когда на 1066-й день игры внезапно рушится экономика.К этому моменту мне и самому надоела рутина - голыми руками проходить сценарии, и я начал искать способ как подрядить на это нейронку.
Когда ИИ-агент ошибается молча: 6 отказов, которые не видно по ответу
ИИ-агент — не чат-бот. Чат-бот генерирует текст. Агент совершает действия: читает документ, решает, какие инструменты вызвать, выполняет многошаговый рабочий процесс и выдает результат, на основании которого без дополнительной проверки действуют системы-потребители — а иногда и люди.Когда агент составляет ответ, цена ошибки — неудачный абзац. Когда он одобряет кредит, подает регуляторную отчетность или запускает эскалацию, ошибка может обернуться операционными, финансовыми или репутационными потерями.
Как мы научили AI разбирать упавшие автотесты и заводить баги в Трекере
Всем привет, меня зовут Олег. В прошлой статье я рассказывал, как генерить автотесты из Swagger и тест-кейсов
Генерация автотестов и локаторов с ИИ: рабочий код и подводные камни
Всем привет! Я продолжаю цикл статей про применение ИИ в тестировании. В прошлый раз мы остановились на том, что без README с описанием архитектуры фреймворка генерация автотестов на большом легаси-проекте превращается в бесконечный цикл ревью и правок. Поэтому, начать лучше с создания такого документа, а уже после него переходить к коду.Сегодня я расскажу о том, как именно я генерировала автотесты и локаторы, сколько это заняло по времени и где модель всё равно ошибалась.Что нужно для запуска генерации автотестов?Минимальный список артефактов на входе:README с архитектурой
Агент IDEA: как AI-агент Cline Работает с Intellig IDEA полностью оффлайн
В чем отличие обычного чата от агента?

