mistral-7b.

Токенизация, как ключ к языковым моделям для низкоресурсных языков

Привет Хабр, меня зовут Эдуард, и я хочу поделиться своими наблюдениями о том, как статистические алгоритмы извлекают грамматику из текстов.ВведениеСоздание языковых моделей для низкоресурсных языков — задача, где успех определяется не столько вычислительной мощностью, сколько правильной подготовкой данных. Особенно это критично для морфологически богатых языков, таких как кабардинский, адыгейский, чеченский или дагестанские языки, где одна словоформа может содержать информацию о лице, времени, виде, пространственных отношениях и множестве других грамматических категорий.

продолжить чтение

Рецепт vLLM с мистралем. Часть 1

На первом этапе нашей заготовки модели мы займемся ее 4-х битным квантованием, а во второй части будем использовать vLLM для запуска парралельных запросов к ней.Поехали!

продолжить чтение