В DeepPavlov добавят модули для борьбы с галлюцинациями и избыточным поиском

Российская open-source библиотека DeepPavlov получит обновление с новыми инструментами для работы с искусственным интеллектом ^[1]. Разработку представили исследователи из МФТИ, MWS AI (входит в «МТС Web Services»), института AIRI, университета ИТМО и AI Talent Hub.

DeepPavlov — это библиотека для создания диалоговых систем и решений в области обработки естественного языка. Она включает готовые модели и инструменты для задач понимания текста, поиска ответов, классификации и анализа тональности, а также может использоваться для построения более сложных сценариев взаимодействия с пользователем.

В новой версии библиотеки появятся три компонента: классификатор токсичности, детектор контекстных галлюцинаций и классификатор evergreen-вопросов — вопросов, ответы на которые не устаревают со временем.

Другие новости и материалы по AI — в Telegram-канале NH | Новости технологий, AI и будущее. ^[2]

Детектор галлюцинаций позволяет выявлять фрагменты ответа модели, не подтвержденные переданным контекстом, что особенно важно для сценариев с использованием RAG. Классификатор evergreen-вопросов помогает определить, требуется ли для ответа внешний поиск, или модель может обойтись без него. Классификатор токсичности используется для дополнительного контроля безопасности.

Компоненты можно использовать как отдельные сервисы, подключать по API и встраивать в production-пайплайны. Разработчики также отмечают поддержку нескольких языков.

В то же время авторы указывают на ограничения решений. Детектор галлюцинаций работает только с фактологическими ошибками, связанными с контекстом, и не охватывает логические или смысловые неточности. Классификатор токсичности также может работать нестабильно из-за особенностей обучающих данных.

Источник ^[3]

В канале NH | Новости технологий, AI и будущее ^[2] публикуем новости AI, полезные сервисы, автоматизацию и материалы о практическом применении нейросетей. Если нужна зарубежная карта  ^[4]для оплаты сервисов, отдельный разбор можно почитать здесь ^[4].