- BrainTools - https://www.braintools.ru -
В Veai 5.3 появился личный кабинет и возможность выбрать модель LLM для индивидуальных пользователей, добавлены режимы работы агента (Modes) и обновлён интерфейс для более удобной работы.
Здесь пользователь может видеть баланс токенов и срок их действия, управлять подпиской, знакомиться с документацией и связаться с командой. Бесплатный 30-дневный пробный период активируется при регистрации в личном кабинете.
Индивидуальные пользователи с подпиской Personal теперь могут самостоятельно выбрать модель, с которой будет работать агент. Сделать это можно в настройках.
Мы добавили несколько режимов работы агента.
Agent – полноценный агент, который может читать и редактировать файлы, идентичный старому режиму работы чата по умолчанию. Он лучше всего подойдёт для повседневной работы, не связанной с изучением проекта и тестированием.
Ask – read-only режим работы агента: он может читать файлы в проекте, читать страницы в интернете. Он лучше всего подойдёт для задач изучения проекта (например, онбординга в новый проект), брейншторма идей по реализации, анализа причин возникновения бага.
Tester – режим, сфокусированный на генерации тестов. Хотя вы можете генерировать тесты и в режиме Agent, этот режим будет давать более качественные результаты.
Например, на нашем внутреннем бенчмарке из 33 реальных проектов (с ендпоинтами по ~2000 строк, ≥150 KLOC со Spring, TestContainers, Java, Kotlin) при прочих равных (одной модели и одном входном промпте) Tester агент дал существенно лучшие результаты, чем базовый Agent.
|
Задача генерации тестов по исходному коду |
Agent |
Tester |
|---|---|---|
|
Доля скомпилировавшихся тестовых классов |
76% |
94% |
|
Доля проходящих тестов |
67% |
90% |
|
Тестовое покрытие |
64% |
80% |
Режим работы Tester пока доступен только в IntelliJ IDEA (и её форках) для Java и Kotlin.
Мы улучшили UI, сделав отображение ИИ-текста более плавным и комфортным для восприятия [1].
В рамках непрерывного улучшения нашего ИИ-агента мы внедрили значительные улучшения в инструмент редактирования файлов (edit_tool), чтобы повысить его надежность и успешность. Хотим поделиться с вами результатами бенчмарка, демонстрирующими заметное повышение эффективности работы агента.
Технические результаты бенчмарка показывают статистически значимое улучшение по ключевым метрикам. Успешность редактирования файлов увеличилась на 8.4% в небольших задачах (с 82.47% до 89.47%), на 4.86% в сложных задачах (с 92.54% до 97.06%) и на 6.42% в генерации тестов (с 90.55% до 96.36%). Агент также стал более надежным в соблюдении требований и реже нарушает явные инструкции пользователя.
Для разработчиков и тестировщиков это означает более предсказуемое и безопасное взаимодействие с агентом. Агент теперь реже вносит побочные изменения, вызывает меньше повреждений кода и чаще доводит задачи до успешного завершения. Улучшенная надежность инструмента редактирования снижает время на отладку и исправление ошибок, внесенных агентом.
Установить обновление Veai 5.3 можно с нашего сайта [2]. Для обратной связи – support@veai.ru [3] и чат с командой [4] (там же публикуем новости о продукте).
Автор: Trip-Hope
Источник [5]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/24856
URLs in this post:
[1] восприятия: http://www.braintools.ru/article/7534
[2] сайта: https://veai.ru/download?utm_source=article&utm_medium=habr&utm_campaign=release53
[3] support@veai.ru: mailto:support@veai.ru
[4] чат с командой: https://t.me/veai_devs
[5] Источник: https://habr.com/ru/companies/veai/articles/989918/?utm_source=habrahabr&utm_medium=rss&utm_campaign=989918
Нажмите здесь для печати.