Perplexity выложила отрытые эмбеддинг-модели

Perplexity представила pplx-embed – набор многоязыковых моделей для обработки больших объемов информации. Эти модели разработаны для работы с данными из интернета, обеспечивая альтернативу проприетарным API.

Особенность новых моделей – использование двунаправленного внимания ^[1], позволяющего учитывать весь контекст текста, а не только предсказывать следующий токен. Также применяется диффузионное предварительное обучение ^[2], которое помогает модели выделять важную информацию из шумных данных.

В рамках проекта представлены две версии моделей: одна оптимизирована для самостоятельных встраиваний и поисковых запросов, а вторая – для работы с большими документами, используемыми в системах RAG. Модели доступны в двух размерах (0.6B и 4B параметров) и поддерживают квантизацию INT8 для повышения эффективности.

В тестах MTEB и ConTEB флагманская 4B обошла профильные решения от Anthropic и Voyage. Обе модели доступны в размерах 0.6B и 4B на Hugging Face ^[3] под лицензией MIT и через API Perplexity ^[4].

Делегируйте часть рутинных задач вместе с BotHub ^[5]! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[6] вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[7]