ИИ-агент способен пройти путь от анализа задачи до создания и запуска сценария в Vanessa Automation. Но практический результат зависит не столько от выбранной модели, сколько от качества тест-плана, ограничений для агента и организации всей цепочки.
Вводный вебинар предварял курс «Автоматизированное тестирование в 1С». Его провел ведущий разработчик ИТ-лаборатории Инфостарта и автор курса Александр Кунташов. Эксперт показал, как с помощью ИИ и Vanessa Automation пройти путь от исходной инструкции до работающего автотеста, а затем отдельно разобрал вопросы участников о безопасности данных, MCP, сопровождении сценариев и интеграции с CI/CD.
Исследование до написания теста
Исходного кода конфигурации недостаточно, чтобы сразу получить надежный автотест. Он не показывает фактическое состояние базы, состав динамических форм, влияние прав и функциональных опций, модальные окна и другие особенности интерфейса.
Поэтому перед созданием сценария нужен отдельный этап исследования. Специалист или агент проходит будущий тест вручную и фиксирует:
-
путь по интерфейсу и технические имена элементов;
-
необходимые предусловия и тестовые данные;
-
ожидаемые результаты;
-
возможные блокировки;
-
последовательность действий в формате TurboGherkin.
Результатом становится воспроизводимая спецификация. Уже на ее основе можно создавать, запускать и отлаживать .feature-сценарий.
Такое разделение особенно важно при работе с ИИ: агент получает не открытую задачу «разобраться и сделать», а ограниченный набор действий и критериев завершения.
Агенту нужны явные границы
Без подробных инструкций поведение модели остается недетерминированным. Столкнувшись, например, с нехваткой товара для проведения документа, агент может остановиться, выбрать другую номенклатуру или самостоятельно создать остатки. Каждый вариант технически позволяет продолжить тест, но способен изменить смысл проверки.
Поэтому в промптах необходимо заранее определить:
-
какие данные разрешено создавать и изменять;
-
можно ли подбирать аналоги;
-
сколько раз допустимо повторять неудачное действие;
-
в каких случаях сценарий признается заблокированным;
-
когда задача должна быть передана человеку.
Если требуемого элемента нет в тестовой базе, безопаснее зафиксировать проблему, а не разрешать агенту импровизировать. Допустимые замены следует описывать через формальные признаки: обязательные реквизиты, характеристики и правила эквивалентности.
Не каждую проверку стоит поручать ИИ
Массовые повторяемые операции обычно надежнее выполнять традиционными средствами автоматизации. Например, для регрессионной проверки сотен отчетов можно сохранить параметры формирования, эталонные результаты и правила сравнения, а затем запускать один параметризованный сценарий Vanessa Automation.
ИИ в таком процессе полезен на других этапах:
-
группировка отчетов;
-
подготовка сценариев и наборов параметров;
-
создание алгоритма сравнения;
-
анализ обнаруженных расхождений.
Поручать агенту при каждом прогоне самостоятельно открывать все отчеты и сравнивать результаты — дорого и недостаточно воспроизводимо. Разумное разделение выглядит так: детерминированные операции выполняет код, а ИИ работает с неоднозначностью и диагностикой.
Поддержка существующих сценариев
ИИ можно использовать не только для создания тестов, но и для их актуализации. Для этого агенту нужны сам .feature-файл, актуальные требования, лог запуска, сведения об ошибочном шаге, скриншоты и ожидаемый результат.
Возможный конвейер включает несколько этапов:
-
CI запускает тесты и собирает результаты.
-
Для каждого упавшего сценария формируется отдельная задача.
-
Агент воспроизводит проверку в актуальном интерфейсе.
-
Если причина находится в тесте, сценарий корректируется.
-
Тест запускается повторно.
-
Изменения проходят автоматические проверки и ревью человека.
Это пока не полноценный self-healing. Для автономной работы нужен внешний оркестратор, который будет отслеживать прогоны, классифицировать ошибки и принимать исправления только после успешной проверки.
ИИ в CI/CD
Технически агент можно подключить к отчетам Allure, репозиторию и Vanessa Automation. Он способен анализировать падения, отделять ошибки сценария от дефектов продукта и проблем окружения, исправлять тесты и готовить merge request.
Главные ограничения такого подхода — стоимость API, объем передаваемого контекста и доступ к тестовой инфраструктуре. При больших логах и повторных запусках расходы на модель могут оказаться выше ожидаемой экономии.
Поэтому начинать целесообразно с небольших стабильных сценариев. Это позволяет проверить архитектуру процесса, оценить расход токенов и понять, какие этапы действительно стоит автоматизировать с помощью LLM.
Безопасность тестовых данных
Облачному ИИ не следует передавать рабочие базы, видео и скриншоты с персональными или конфиденциальными данными. Для тестирования нужны синтетические либо предварительно обезличенные наборы.
Если исходная инструкция записана в рабочей системе, видео можно обработать локально: получить транскрипт с временными метками, удалить чувствительные сведения и только после этого передать текст внешней модели. Более строгий вариант — запуск локальной модели в изолированном контуре.
Сами компоненты тестирования при этом могут находиться на разных виртуальных машинах. База не обязана иметь доступ в интернет, если машина с ИИ-агентом видит MCP-сервер Vanessa Automation по локальной сети, а участникам процесса доступен общий каталог с feature-файлами.
Что получается на практике
ИИ может сократить время на исследование интерфейса, подготовку сценариев и анализ падений. Однако устойчивый процесс требует нескольких условий:
-
автоматизируется стабильный функционал;
-
длинные E2E-сценарии используются избирательно;
-
повторяющиеся действия выносятся в библиотеку общих шагов;
-
агент работает по формальным ограничениям;
-
тестовые данные подготовлены и обезличены;
-
результат проходит экспертное ревью.
Работающий .feature-файл еще не означает, что получился качественный тест. ИИ расширяет возможности автоматизации, но не отменяет тестовую стратегию, контроль данных и ответственность человека за итоговый сценарий.
Подробные ответы Александра Кунташова о Vanessa Automation, MCP, локальных моделях, тестовых данных и интеграции с CI/CD собраны в исходной статье на Инфостарте. Там же доступны запись вводного вебинара и информация о курсе «Автоматизированное тестирование в 1С».
Автор: infostart-press
