Mistral Saba: региональная LLM, ориентированная на восточные языки

Компания Mistral AI представила Saba ^[1] — специализированную языковую модель, способную глубже понимать языковые и культурные нюансы Ближнего Востока и Юго‑Восточной Азии. В то время как большинство крупных языковых моделей придерживаются универсального подхода, Saba ориентирована на точную передачу особенностей речи и культурных контекстов, присущих этим регионам.

Модель содержит 24 миллиарда параметров — это значительно меньше, чем у многих конкурентов, однако, по заверениям Mistral AI, она обеспечивает высокую точность и скорость работы при меньших затратах. Предположительно, её архитектура схожа с недавно выпущенной Mistral Small 3 ^[2]. Благодаря высокой эффективности, Saba может работать даже на менее мощных системах, обрабатывая свыше 150 токенов в секунду на одиночном GPU. В компании считают, что это открывает возможности для дальнейшей адаптации модели под региональные особенности.

Языковая и культурная адаптация

Saba демонстрирует выдающиеся результаты в обработке арабского языка и языков Индии, особенно южноиндийских, таких как тамильский и малаялам. Широкий языковой охват делает её ценной для использования в тесно связанных регионах Ближнего Востока и Юго‑Восточной Азии.

По данным Mistral, Saba уже применяется в реальных задачах: от виртуальных ассистентов, свободно общающихся на арабском языке, до специализированных инструментов для энергетики, финансовых рынков и медицины. Глубокое понимание местных идиом и культурных контекстов делает модель особенно эффективной для создания контента, ориентированного на региональные аудитории.

Mistral Saba доступна через API компании, а также может быть развёрнута локально, что делает её привлекательным решением для организаций, работающих в чувствительных отраслях — таких как энергетика, финансы и здравоохранение.

Аналогичные задачи решают и другие организации. Например, проект OpenGPT‑X выпустил модель Teuken-7B ^[3], в котором около 50% данных приходится на неанглоязычные тексты. OpenAI разработала специализированную версию GPT-4 для японского языка ^[4], а проект EuroLingua ^[5] сосредоточился на языках Европы. Кроме того, немецкая ассоциация Laion создала LeoLM ^[6] — большую языковую модель, оптимизированную для немецкого языка.

LLM обучаются на массивных корпусах текстов, выявляя статистические закономерности между словами и предложениями. Согласно исследованию ^[7], 93% обучающих данных GPT-3 составляют тексты на английском языке. Такой подход способствует общему пониманию языка, но часто не учитывает тонкие нюансы, заметные только носителям, — именно этот пробел и стремится заполнить Saba.

Компания Mistral, будучи европейским разработчиком, с момента выхода своей первой открытой модели Mistral-7B неоднократно подчёркивала важность поддержки множества языков. Запуск Saba продолжает эту стратегическую линию, и Mistral уже заявила о намерении работать над адаптацией модели для других региональных языков в будущем.

Источники: первый ^[8], второй ^[9].