Малые языковые модели: где пригодятся SLM и что учесть в работе с ними

Сегодня малые языковые модели (SLM) все чаще оказываются в центре внимания ^[1]: на первый взгляд, они почти не уступают LLM, при том, что ресурсов тратят намного меньше.

Но тут, как всегда, есть нюанс (и не один): обсуждаем, так ли хороши SLM, где они действительно могут быть полезны, а где пока буксуют. А еще разбираемся, почему — на наш взгляд — серьезных конкурентов для LLM из них пока не выйдет.

Малые модели — это какие?

Малая языковая модель (SLM) может насчитывать от нескольких миллионов ^[2] до 10 миллиардов ^[3] параметров. К таким моделям можно отнести ^[4] Qwen3.5-0.8B от Alibaba и некоторые модели из семейства Gemma от Google DeepMind, в частности, те, что имеют от 2 до 9 млрд параметров. Gemini также предлагает ^[5] более легковесные варианты вроде Nano-1 и Nano-2 с 1,8 млрд и 3,25 млрд параметров соответственно, которые заточены под работу на смартфонах и планшетах, — их тоже можно назвать SLM.

К слову, в индустрии встречается определение SLM, не привязанное к конкретному числу параметров. Так, в NVIDIA предлагают ^[6] относить к малым языковым моделям все, что можно запустить на потребительских электронных устройствах: персональных компьютерах или ноутбуках. Такой подход предполагает, что по мере роста вычислительных возможностей личных устройств границы между малыми и более крупными моделями будут размываться — и это уже происходит. Например, модели с 14 млрд параметров сегодня чаще относят к «средним», однако Microsoft все же называет ^[7] свою Phi-4 14B малой языковой моделью как раз по причине того, что ее квантованная версия может запускаться ^[8] на одной потребительской видеокарте.

Ожидаемо, возможность развернуть модель на среднестатистическом железе напрямую сказывается на популярности таких решений. По данным летнего отчета ^[9] Hugging Face, на модели с более чем 100 млрд параметров приходится лишь 1% всех загрузок, а на модели с менее чем одним миллиардом — около 83%. Как правило, к ним обращаются энтузиасты и исследователи, а также образовательные организации. Показательный пример — связка из трех моделей на 3–7 млрд параметров (Llama3.2-3B, Qwen2.5-7B и Neural-Chat 7B), которую развернули ^[10] в Колледже Джона Эббота в Монреале. Система работает на сервере с macOS без топовых GPU. Она помогает преподавателям физики проверять студенческие лабораторные работы — пока специалисты колледжа ограничились промпт-инжинирингом, а дообучение моделей оставили на будущее.

Впрочем, и такая настройка может быть относительно недорогой, особенно если использовать метод LoRA. Он позволяет с помощью дополнительного набора параметров адаптировать нейросеть к определенному стилю, формату ответов или предметной области. Такой подход требует значительно меньше вычислительных ресурсов, чем полноценное дообучение всей модели, обеспечивает быстроту создания разных версий базовой нейросети и обходится довольно дешево — в некоторых случаях дообучение обходится всего в восемь долларов ^[11]. Для независимых исследователей и участников университетских проектов это особенно актуально: им нередко приходится оперировать в условиях сжатых бюджетов.

Где пригодятся SLM

Малые модели могут быть действительно эффективными на узкоспециализированных сценариях, где особенно важна скорость: например, при классификации звонков или фильтрации спама. Однако многое тут зависит от конкретного сценария работы с SLM: он может потребовать дополнительных усилий с точки зрения ^[12] развертки и инфраструктуры. Например, при использовании конвейерного подхода ^[13], когда несколько моделей работают последовательно, или подхода с оркестратором:

Наиболее вероятный сценарий для малых языковых моделей — это их использование в агентских системах, где есть некий мозг-оркестратор, которому выдается задача. И он, зная описание узкоспециализированных моделей, уже определяет, какую задачу какой из них выдать (одну для классификации, другую для исправления кода и так далее).

При этом необязательно, чтобы это были разные модели от разных вендоров. Мне кажется, что вполне рабочий вариант взять одну и ту же базовую архитектуру, одну и ту же базовую модель и дообучить ее, получив семейство узких моделей. Можно обучить ее адаптер на LoRA, например, или обучить модель целиком под какую-то конкретную задачу. Очевидно, что полное обучение ^[14] дороже и тяжелее, чем какие-то LoRA-адаптеры, но дает более качественный результат. Хотя на практике, скорее всего, стоит использовать комбинированный подход.

— Максим Шкут, Data Scientist, ВТБ 

Есть и другие особенности, которые стоит учитывать при работе с SLM. Их можно, к примеру, не дообучать, а оставить в исходном виде, при этом всю необходимую специфику вынести в «обвязку» ^[10] — передавать нужные материалы в контекст или подключать локальную базу знаний. Вот несколько сценариев, в которых SLM (с дообучением и без) может показать неплохой результат:

1. Код-ревью и унификация кода

Данные, чтобы «подкрутить» малую модель под задачу рефакторинга и стандартизации кодовой базы, можно взять ^[15] в корпоративном репозитории, который, фактически, уже содержит размеченные примеры — коммиты показывают состояние кода «до» и «после». Если же готовых данных не хватает, можно сгенерировать синтетические. Например, в NVIDIA дообучили ^[16] Llama 3 8B Instruct с помощью LoRA для внутреннего код-ревью, а обучающие примеры создавала модель-учитель GPT-4 по схеме дистилляции знаний. Точность оценки критичности замечаний дообученной модели выросла более чем на 18%; результат оказался лучше, чем у Llama 3 70B и Nemotron 4 340B Instruct, при меньшей стоимости и задержке.

Впрочем, ряд исследований показывает, что SLM с открытыми весами могут неплохо справляться с унификацией и стандартизацией кода даже в «сыром» виде — без тонкой настройки. Ученые из венгерского Университета имени Лоранда Этвеша протестировали ^[17] двенадцать моделей размером от 0,5 до 8 млрд параметров на трех тысячах Python-программ из бенчмарка APPS ^[18]. Моделям давали единственную короткую инструкцию — провести рефакторинг программы, не подключая новых библиотек и модулей. Результат работы оценивали по юнит-тестам и метрикам качества кода. После правок число нарушений правил PEP-8 ^[19] сокращалось на 65–86%.

Похожий эксперимент провели ^[20] исследователи из Университета Конкордия и Политехнической школы Монреаля в 2024 году. При этом они отметили, что компактным моделям проще дорабатывать существующий код, а не писать новый с нуля — на этих задачах их производительность может быть сопоставима с LLM. Исследователи сравнили две открытые модели с 7 млрд параметров — CodeLlama и Llama 2 — с результатами ChatGPT 3.5 на двух тысячах задач по доработке программ. Лучше всего SLM справлялись с локальными изменениями: например, переименованием сущностей и оформлением кода по соглашениям, принятым в проекте.

2. Работа с базами данных

Здесь, опять же, малые модели могут неплохо проявить себя — но с ограничениями. Схема реального хранилища, как правило, слишком велика, чтобы целиком поместить ее в промпт, поэтому необходим способ отсечь лишние таблицы и столбцы. Такой прием называется schema linking ^[21], и для малых моделей, имеющих меньшее контекстное окно, он критичнее, чем для больших.

При этом появляются кейсы, когда можно отказаться от традиционного подхода Text-to-SQL и встраивать вызовы языковой модели прямо внутрь SQL-запроса. Пару месяцев назад специалисты американской финтех-компании Capital One провели эксперимент ^[22]. Они заменили проприетарный API на локальную Gemma 4 E4B с FP8-квантизацией весов, запущенную на одной RTX 5080 с 16 ГБ видеопамяти. Используя BlendSQL — язык запросов, объединяющий обычный SQL с вызовами языковых моделей — им удалось снизить расходы на выполнение операций в 390 раз, а задержку — в 3,8 раза при сопоставимом качестве ответов [для интересующихся особенностями реализации, код экспериментов опубликован на GitHub ^[23] под Apache 2.0].

3. Спекулятивное декодирование

Это — способ ускорить работу LLM, при котором небольшая и быстрая модель заранее предсказывает несколько следующих токенов, а основная и более крупная — их проверяет. SLM особенно хорошо подходят на роль «предсказателя», поскольку от них не требуется безошибочно угадывать каждый токен. Их задача — быстро и дешево генерировать множество вероятных вариантов, среди которых большая модель сможет выбрать подходящий.

Как правило, спекулятивное декодирование используется на задачах, где важна скорость вывода: например, в системах интерактивного программирования, которые должны практически мгновенно дополнять код, или при машинном переводе. Сегодня спекулятивное декодирование используется в AI Overviews от Google.

Правда, стоит учитывать, что здесь важен баланс между качеством предсказаний и затратами на их получение. В экспериментах Google, где и предложили ^[24] этот подход, T5-large с 770 млн параметров предсказывала токены (очевидно) точнее, чем T5-small с 60 млн: основная модель принимала 82% предложенных ей токенов против 75% от T5-small. Но при этом T5-large сама работала примерно вдвое медленнее. То есть слишком маленький «предсказатель» может экономить ресурсы на генерации, но чаще ошибаться — и свести выигрыш от спекулятивного декодирования на нет. Слишком крупный, в свою очередь, будет точнее угадывать токены, но потребует больше времени и ресурсов на сами предсказания.

В целом можно сказать, что работа с малыми языковыми моделями — это история про постоянный поиск баланса между скоростью, качеством и расходами. При этом по мере распространения ИИ критическое значение приобретает именно стоимость генерации. Когда запросов миллионы, затраты на инференс выходят на ведущие позиции — и тренд на удешевление становится определяющим. В этой логике ^[25] запуск специфических задач на устройствах с помощью малых моделей — один из естественных и наиболее вероятных путей развития индустрии. Локальная SLM обрабатывает «узкую» задачу быстрее, дешевле и без утечки данных, а после развёртывания предельная стоимость генерации стремится к нулю. Крупные LLM при этом могут использоваться для сложных и творческих задач: речь идет не о замене подхода, а о разделении труда. Еще в 2023 году генеральный директор Nvidia Дженсен Хуанг говорил ^[26], что будущее языковых моделей будет гибридным, и за разные задачи будут отвечать модели разного размера. Сейчас это уже не прогноз, а реальность, но и такой подход не лишен ограничений, связанных, в первую очередь, с тонкостями работы с SLM.

И еще немного нюансов

При всех очевидных преимуществах малых моделей у них есть ряд особенностей. 

Их размер неизбежно сказывается на качестве ответов. В 2025 году исследователи из университетов Нидерландов, Великобритании и Чехии протестировали ^[27], насколько точно 15 различных моделей способны извлекать специализированную медицинскую информацию. Модели разделили на четыре группы по количеству параметров: большие — более 150 млрд, средние — от 40 до 150 млрд, малые — от 4 до 40 млрд и миниатюрные — менее 4 млрд.

Стоит отметить, что авторы трактуют понятие «малой модели» заметно шире, чем обычно принято; если посмотреть на состав этой группы, то лишь одна модель из трех (DeepSeek R1 Qwen3 8B) укладывается в границу до 10 млрд параметров. Их категория миниатюрных моделей больше соответствует популярному определению SLM.

Что касается самого эксперимента, то качество работы моделей оценивали по шкале от 0 до 1, где единица означала полное совпадение с консенсусной разметкой профессиональных врачей. Большие, средние и малые модели показали практически одинаковые результаты — 0,78, 0,77 и 0,77 соответственно. А вот миниатюрные модели заметно отстали, набрав лишь 0,57. Иными словами, уменьшение размера модели начинает сказываться на качестве работы, что в особенности может проявляться при решении специализированных задач.

Увеличить точность SLM не всегда удается даже с помощью дистилляции. Исследователи из Вашингтонского университета, Университета Карнеги — Меллона и Университета Западного Вашингтона описали ^[28] эффект, который назвали «разрывом в обучаемости малых моделей» (small model learnability gap). По их данным, модели с 3 млрд параметров и меньше (то есть те самые, что специалисты из предыдущего исследования окрестили «миниатюрными») не получают существенного преимущества ни от обучения на длинных цепочках рассуждений, ни от дистилляции с крупных моделей-учителей. Чтобы добиться хорошего результата, приходится тщательно подбирать и комбинировать разные типы обучающих данных.

Найти качественные датасеты для обучения SLM может быть сложно. Самостоятельная же их подготовка — нетривиальная задача. В феврале 2025 года команда Hugging Face выпустила ^[29] SmolLM2 с 1,7 млрд параметров — универсальную модель, которую дополнительно обучили для работы с кодом и математическими формулами. Для этого разработчикам пришлось собрать три датасета: FineMath, Stack-Edu и SmolTalk, поскольку существующие наборы данных, по их оценке, оказались либо слишком маленькими, либо недостаточно качественными. Учитывая сложность и продолжительность этого эксперимента, многим компаниям будет проще взять подходящую и достаточно «умную» LLM, нежели тратить время и ресурсы на подготовку данных, дообучение и адаптацию компактной модели. И это далеко не последний минус «корпоративной SLM»:

Роутинг между моделями порой нецелесообразен.

«Я в своей работе не использую малые модели в продакшене; в основном закрываю все задачи через крупные модели, в том числе Qwen. В целом использование маленьких моделей на узких задачах вроде классификатора текста — это интересная тема. Но тут «всплывает» следующий момент. 

С одной стороны, можно использовать для всех запросов одну большую модель. С точки зрения инфраструктуры все понятно: один сервис, одно место, которое нужно поддерживать. Но прогонять через нее какие-то простые задачи может казаться избыточным. С другой стороны, можно завести отдельную малую модель — но тогда ее тоже придется разворачивать, поддерживать, мониторить, обновлять. Нагрузка на команду фактически удваивается.

И вот вопрос: начиная с какого объема таких запросов роутинг между моделями начнет окупаться и приносить пользу? Я не занимаюсь разработкой высоконагруженных систем с LLM, поэтому вопрос, в какой момент окупится (и окупится ли вообще) использование роутинга между разными моделями, для меня не праздный».

— Максим Шкут, Data Scientist, ВТБ 

Наш скепсис в отношении роутинга разделяют и ученые. Исследователи из Академии наук КНР в мае 2025 года провели систематический обзор ^[13] работ, посвященных совместному использованию больших и малых языковых моделей. Они изучили около двухсот исследований и систематизировали основные варианты взаимодействия между ними. Одна из главных причин использовать SLM — сократить задержку при обработке запросов. Однако медленный роутер способен свести это преимущество на нет. Кроме того, такая архитектура сложнее в эксплуатации: приходится отдельно следить за несколькими моделями и компонентами, а если качество ответов падает, виновник такого поведения ^[30] не всегда очевиден.

SLM (особенно с открытыми весами) уязвимы ^[31] с точки зрения ИБ. Зачастую с них проще снять встроенные разработчиками ограничения, а значит, их легче заставить выполнять нежелательные операции. При этом методы «взлома» компактных моделей во многом те же, что и для крупных LLM. В мае 2026 года журналисты Financial Times совместно с исследователями группы по безопасности ИИ Alice показали ^[32], что с помощью опенсорсного инструмента Heretic, реализующего технику «аблитерации ^[33]» (метод деструктивной модификации весов), можно снять ограничения менее, чем за десять минут. После модификации одна из моделей семейства Gemma 3 начала отвечать на вопросы о распылении хлора в закрытом помещении и генерировала код для кражи данных банковских карт.

Несмотря на растущий интерес ^[34], малые модели уступают по уровню публичного ажиотажа крупным LLM. Это не техническая проблема, но ее последствия отражаются на инвестициях. Крупный бизнес и ИТ-компании в первую очередь вкладываются в инфраструктуру для больших моделей, в результате SLM пока получают меньше ресурсов и возможностей для развития. Поэтому пока сложно утверждать, что «будущее за SLM». Скорее всего, в ближайшие годы большие и малые модели будут не столько конкурировать, сколько использоваться на разных типах задач.

«Мне кажется, что наиболее реалистичная сфера применения маленьких моделей — это узконаправленные задачи классификации, когда нужно выиграть время, и где precision гораздо важнее, чем recall. Но, в большинстве своем, и задач таких мало, и по метрикам выгоднее использовать крупные модели. LLM можно так же дообучить с помощью адаптера под конкретную задачу, что не потребует столь же больших ресурсов, что и дообучение целой модели. И справляться с узкой задачей она будет в разы лучше, чем маленькая, пусть даже дообученная».

— Андрей Ситников, Data Scientist, ВТБ

Больше статей про data science, языковые модели и автоматизацию в нашем блоге:

• Graph Rag и «Гарри Поттер» ^[35]

• Как мы автоматизировали обработку входящих клиентских обращений ^[36]

• Определение профиля нагрузки в PostgreSQL и динамические состояния БД ^[37]