Perplexity AI запускает новую сверхбыструю поисковую модель с искусственным интеллектом

Вышла последняя версия поисковой модели Perplexity AI Sonar, работающей на базе Llama 3.3 70B от Meta* и некоторого специализированного оборудования.

По словам компании, в ходе внутренних тестов Sonar показал более высокие результаты, чем такие модели, как GPT-4o mini и Claude 3.5 Haiku, когда речь идёт об удовлетворённости пользователей. Он даже соответствует или иногда превосходит возможности премиальных моделей, таких как GPT-4o и Claude 3.5 Sonnet, особенно в задачах, связанных с поиском.

Команда создала Sonar на основе модели Meta Llama 3.3 70B, доработав её с помощью дополнительного обучения ^[1] для улучшения поисковых возможностей. Это дополнительное обучение было направлено на то, чтобы сделать ответы более точными с точки зрения ^[2] фактов и более понятными, сообщает Perplexity. Ранее компания использовала модифицированную версию Llama 3.1 под тем же названием Sonar.

Чтобы ускорить Sonar, Perplexity заключила партнёрское соглашение с компанией Cerebras Systems, которая использует необычный подход к проектированию микросхем. Вместо того, чтобы создавать несколько небольших процессоров, Cerebras превращает целые кремниевые пластины в единые массивные микросхемы, называемые «машинами пластинчатого масштаба» (WSE). 

Работая на этом оборудовании, Sonar может обрабатывать 1200 токенов в секунду, что позволяет ему генерировать ответы практически мгновенно. Хотя французский стартап Mistral, который специализируется на искусственном интеллекте ^[3], недавно продемонстрировал сопоставимую скорость работы благодаря своей функции «Flash Answers ^[4]», эта функция не была разработана специально для поисковых систем.

В настоящее время доступ к Sonar имеют только те пользователи, которые используют Pro-версию. Однако в дальнейшем компания Perplexity планирует сделать доступ к Sonar более открытым.

Подробности о том, как именно будет происходить сотрудничество с Cerebras и какие финансовые условия будут предложены, пока не разглашаются.

*Meta и её продукты (Instagram, Facebook) запрещены на территории Российской Федерации

Источник ^[5]