В Veai 5.3 появился личный кабинет и возможность выбрать модель LLM для индивидуальных пользователей, добавлены режимы работы агента (Modes) и обновлён интерфейс для более удобной работы.
Личный кабинет для индивидуальных пользователей
Здесь пользователь может видеть баланс токенов и срок их действия, управлять подпиской, знакомиться с документацией и связаться с командой. Бесплатный 30-дневный пробный период активируется при регистрации в личном кабинете.
Выбор модели LLM
Индивидуальные пользователи с подпиской Personal теперь могут самостоятельно выбрать модель, с которой будет работать агент. Сделать это можно в настройках.
Режимы работы агента (Modes)
Мы добавили несколько режимов работы агента.
Agent – полноценный агент, который может читать и редактировать файлы, идентичный старому режиму работы чата по умолчанию. Он лучше всего подойдёт для повседневной работы, не связанной с изучением проекта и тестированием.
Ask – read-only режим работы агента: он может читать файлы в проекте, читать страницы в интернете. Он лучше всего подойдёт для задач изучения проекта (например, онбординга в новый проект), брейншторма идей по реализации, анализа причин возникновения бага.
Tester – режим, сфокусированный на генерации тестов. Хотя вы можете генерировать тесты и в режиме Agent, этот режим будет давать более качественные результаты.
Например, на нашем внутреннем бенчмарке из 33 реальных проектов (с ендпоинтами по ~2000 строк, ≥150 KLOC со Spring, TestContainers, Java, Kotlin) при прочих равных (одной модели и одном входном промпте) Tester агент дал существенно лучшие результаты, чем базовый Agent.
|
Задача генерации тестов по исходному коду |
Agent |
Tester |
|---|---|---|
|
Доля скомпилировавшихся тестовых классов |
76% |
94% |
|
Доля проходящих тестов |
67% |
90% |
|
Тестовое покрытие |
64% |
80% |
Режим работы Tester пока доступен только в IntelliJ IDEA (и её форках) для Java и Kotlin.
Плавное отображение в чате
Мы улучшили UI, сделав отображение ИИ-текста более плавным и комфортным для восприятия.
Исправление инструмента редактирования у агента
В рамках непрерывного улучшения нашего ИИ-агента мы внедрили значительные улучшения в инструмент редактирования файлов (edit_tool), чтобы повысить его надежность и успешность. Хотим поделиться с вами результатами бенчмарка, демонстрирующими заметное повышение эффективности работы агента.
Технические результаты бенчмарка показывают статистически значимое улучшение по ключевым метрикам. Успешность редактирования файлов увеличилась на 8.4% в небольших задачах (с 82.47% до 89.47%), на 4.86% в сложных задачах (с 92.54% до 97.06%) и на 6.42% в генерации тестов (с 90.55% до 96.36%). Агент также стал более надежным в соблюдении требований и реже нарушает явные инструкции пользователя.
Для разработчиков и тестировщиков это означает более предсказуемое и безопасное взаимодействие с агентом. Агент теперь реже вносит побочные изменения, вызывает меньше повреждений кода и чаще доводит задачи до успешного завершения. Улучшенная надежность инструмента редактирования снижает время на отладку и исправление ошибок, внесенных агентом.
Установить обновление Veai 5.3 можно с нашего сайта. Для обратной связи – support@veai.ru и чат с командой (там же публикуем новости о продукте).
Автор: Trip-Hope
