ИИ в автотестах 1С: где агент помогает, а где лучше обойтись обычной автоматизацией

ИИ-агент способен пройти путь от анализа задачи до создания и запуска сценария в Vanessa Automation. Но практический результат зависит не столько от выбранной модели, сколько от качества тест-плана, ограничений для агента и организации всей цепочки.

Вводный вебинар предварял курс «Автоматизированное тестирование в 1С ^[1]». Его провел ведущий разработчик ИТ-лаборатории Инфостарта и автор курса Александр Кунташов. Эксперт показал, как с помощью ИИ и Vanessa Automation пройти путь от исходной инструкции до работающего автотеста, а затем отдельно разобрал вопросы участников о безопасности данных, MCP, сопровождении сценариев и интеграции с CI/CD.

Исследование до написания теста

Исходного кода конфигурации недостаточно, чтобы сразу получить надежный автотест. Он не показывает фактическое состояние базы, состав динамических форм, влияние прав и функциональных опций, модальные окна и другие особенности интерфейса.

Поэтому перед созданием сценария нужен отдельный этап исследования. Специалист или агент проходит будущий тест вручную и фиксирует:

• путь по интерфейсу и технические имена элементов;

• необходимые предусловия и тестовые данные;

• ожидаемые результаты;

• возможные блокировки;

• последовательность действий в формате TurboGherkin.

Результатом становится воспроизводимая спецификация. Уже на ее основе можно создавать, запускать и отлаживать .feature-сценарий.

Такое разделение особенно важно при работе с ИИ: агент получает не открытую задачу «разобраться и сделать», а ограниченный набор действий и критериев завершения.

Агенту нужны явные границы

Без подробных инструкций поведение ^[2] модели остается недетерминированным. Столкнувшись, например, с нехваткой товара для проведения документа, агент может остановиться, выбрать другую номенклатуру или самостоятельно создать остатки. Каждый вариант технически позволяет продолжить тест, но способен изменить смысл проверки.

Поэтому в промптах необходимо заранее определить:

• какие данные разрешено создавать и изменять;

• можно ли подбирать аналоги;

• сколько раз допустимо повторять ^[3] неудачное действие;

• в каких случаях сценарий признается заблокированным;

• когда задача должна быть передана человеку.

Если требуемого элемента нет в тестовой базе, безопаснее зафиксировать проблему, а не разрешать агенту импровизировать. Допустимые замены следует описывать через формальные признаки: обязательные реквизиты, характеристики и правила эквивалентности.

Не каждую проверку стоит поручать ИИ

Массовые повторяемые операции обычно надежнее выполнять традиционными средствами автоматизации. Например, для регрессионной проверки сотен отчетов можно сохранить параметры формирования, эталонные результаты и правила сравнения, а затем запускать один параметризованный сценарий Vanessa Automation.

ИИ в таком процессе полезен на других этапах:

• группировка отчетов;

• подготовка сценариев и наборов параметров;

• создание алгоритма сравнения;

• анализ обнаруженных расхождений.

Поручать агенту при каждом прогоне самостоятельно открывать все отчеты и сравнивать результаты — дорого и недостаточно воспроизводимо. Разумное разделение выглядит так: детерминированные операции выполняет код, а ИИ работает с неоднозначностью и диагностикой.

Поддержка существующих сценариев

ИИ можно использовать не только для создания тестов, но и для их актуализации. Для этого агенту нужны сам .feature-файл, актуальные требования, лог запуска, сведения об ошибочном шаге, скриншоты и ожидаемый результат.

Возможный конвейер включает несколько этапов:

1. CI запускает тесты и собирает результаты.

2. Для каждого упавшего сценария формируется отдельная задача.

3. Агент воспроизводит проверку в актуальном интерфейсе.

4. Если причина находится в тесте, сценарий корректируется.

5. Тест запускается повторно.

6. Изменения проходят автоматические проверки и ревью человека.

Это пока не полноценный self-healing. Для автономной работы нужен внешний оркестратор, который будет отслеживать прогоны, классифицировать ошибки ^[4] и принимать исправления только после успешной проверки.

ИИ в CI/CD

Технически агент можно подключить к отчетам Allure, репозиторию и Vanessa Automation. Он способен анализировать падения, отделять ошибки сценария от дефектов продукта и проблем окружения, исправлять тесты и готовить merge request.

Главные ограничения такого подхода — стоимость API, объем передаваемого контекста и доступ к тестовой инфраструктуре. При больших логах и повторных запусках расходы на модель могут оказаться выше ожидаемой экономии.

Поэтому начинать целесообразно с небольших стабильных сценариев. Это позволяет проверить архитектуру процесса, оценить расход токенов и понять, какие этапы действительно стоит автоматизировать с помощью LLM.

Безопасность тестовых данных

Облачному ИИ не следует передавать рабочие базы, видео и скриншоты с персональными или конфиденциальными данными. Для тестирования нужны синтетические либо предварительно обезличенные наборы.

Если исходная инструкция записана в рабочей системе, видео можно обработать локально: получить транскрипт с временными метками, удалить чувствительные сведения и только после этого передать текст внешней модели. Более строгий вариант — запуск локальной модели в изолированном контуре.

Сами компоненты тестирования при этом могут находиться на разных виртуальных машинах. База не обязана иметь доступ в интернет, если машина с ИИ-агентом видит MCP-сервер Vanessa Automation по локальной сети, а участникам процесса доступен общий каталог с feature-файлами.

Что получается на практике

ИИ может сократить время на исследование интерфейса, подготовку сценариев и анализ падений. Однако устойчивый процесс требует нескольких условий:

• автоматизируется стабильный функционал;

• длинные E2E-сценарии используются избирательно;

• повторяющиеся действия выносятся в библиотеку общих шагов;

• агент работает по формальным ограничениям;

• тестовые данные подготовлены и обезличены;

• результат проходит экспертное ревью.

Работающий .feature-файл еще не означает, что получился качественный тест. ИИ расширяет возможности автоматизации, но не отменяет тестовую стратегию, контроль данных и ответственность человека за итоговый сценарий.

Подробные ответы Александра Кунташова о Vanessa Automation, MCP, локальных моделях, тестовых данных и интеграции с CI/CD собраны в исходной статье на Инфостарте ^[5]. Там же доступны запись вводного вебинара и информация о курсе «Автоматизированное тестирование в 1С ^[1]».