Сравнительный анализ 18 LLM моделей: конец монополии?

Сравнительный анализ 18 LLM моделей: конец монополии?

Ноябрь 2025 — месяц, когда open-source модели официально догнали проприетарные. Разбираем, что произошло, кто теперь на вершине, и как это использовать в своих проектах.

Введение: А что вообще произошло?

Ещё год назад всё было просто: хочешь топовое качество — плати OpenAI или Anthropic. Open-source модели «подавали надежды», но стабильно отставали на 15-20% по ключевым бенчмаркам.

А потом случился ноябрь 2025.

13 ноября — Baidu анонсирует ERNIE 5.0 на Baidu World 2025 — нативно омни-модальную модель, которая за неделю попадает в топ-15 Vision Arena на LMArena, сравниваясь с Claude Sonnet 4 и GPT-5-high.

18 ноября — Google выкатывает Gemini 3 Pro: 91.9% на GPQA Diamond (научное рассуждение), контекст в миллион токенов. Казалось бы, закрытые модели снова впереди планеты всей…

19 ноября — Сбер отвечает релизом GigaChat3-702B под MIT-лицензией. И вот тут начинается интересное: модель показывает 86.59% на HumanEval+ — по цифрам класно, но не понятно как интерпретировать. В добавок веса открыты.

24 ноября — Anthropic представляет Claude Opus 4.5 — первую модель, пробившую планку 80% на SWE-bench Verified (80.9%). Реальные баги из реальных репозиториев — и модель фиксит 4 из 5.

Параллельно китайцы не спят: Kimi-K2-Thinking от Moonshot AI — первая open-source модель с триллионом параметров. 84.5% на GPQA Diamond, 71.3% на SWE-bench. Под MIT-лицензией. Бесплатно. Забирайте. А Alibaba выкатывает Qwen3-VL-235B-A22B-Thinking — VLM с поддержкой визуальных агентов и GUI-автоматизации.

💡 Главный инсайт: Если вы до сих пор считаете, что open-source — это «почти как GPT-4, но похуже» — пора обновить картину мира. Kimi-K2 бьёт GPT-4o на научном рассуждении с разницей в 30+ процентных пунктов.

Так что там с монополией OpenAI и Anthropic? Давайте разбираться с цифрами в руках.

Большая сравнительная таблица

Данные собраны из официальных источников: HuggingFace model cards, технические отчёты компаний, Aider LLM Leaderboards, LMSys Chatbot Arena.

🔓 = Open-source (MIT/Apache 2.0) | 🇷🇺 = Российская разработка

Kimi-K2: Open-source догнал топов

Остановимся на этом подробнее, потому что это реально переломный момент для индустрии.

Kimi-K2-Thinking от китайской Moonshot AI:

• 🏆 Триллион параметров — но благодаря MoE активируется только 32B на токен

• 🏆 84.5% на GPQA Diamond — это уровень Claude 3.5 Sonnet

• 🏆 71.3% на SWE-bench — фиксит реальные баги из GitHub

• 🏆 51% на Humanity’s Last Exam — лучший результат среди всех open-source

• 🏆 MIT-лицензия — хотите в прод? Пожалуйста. Хотите дообучить? Да на здоровье

Для понимания масштаба: GPT-4o показывает ~53% на GPQA Diamond. Kimi-K2 — open-source модель — опережает его на 30+ процентных пунктов.

💡 Практический совет: Kimi-K2 доступен через API на Together AI и других платформах. Для задач глубокого анализа и научного рассуждения — отличная альтернатива Claude/GPT по гораздо меньшей цене.

Топ-5 по категориям

🧠 Научное рассуждение (GPQA Diamond)

GPQA — это вопросы уровня PhD по физике, химии и биологии. Здесь нужно не знать факты, а уметь думать.

Вывод: Разрыв между closed и open — всего 7%. Год назад было 25+.

💻 Кодинг (SWE-bench Verified)

SWE-bench — реальные баги из реальных open-source репозиториев. Модель должна понять issue, найти файл, написать патч, пройти тесты.

Вывод: В кодинге closed-модели пока лидируют, но open-source уже на расстоянии вытянутой руки.

📐 Математика (MATH-500 / AIME)

AIME — олимпиадная математика уровня финала всероса. MATH-500 — от школьной алгебры до university-level.

Вывод: В математике open-source УЖЕ лидирует! DeepSeek-R1 с 97.3% на MATH-500 — абсолютный рекорд.

💡 Для практиков: Нужна модель для математических расчётов, анализа данных, научных вычислений? DeepSeek-R1 под MIT-лицензией. Серьёзно.

🌐 Лучшие Open-Source LLM — Overall

Сводный рейтинг. Только модели с открытыми весами.

Лучшие компактные Open-Source модели (≤30B параметров)

Для тех, у кого нет кластера H100, но есть RTX 4090 или облачный инстанс.

💡 Qwen3-30B-A3B — это магия MoE: 30 миллиардов параметров, но активируется только 3.3B на токен. Качество как у 70B+ модели, VRAM как у 7B.

💻 Лучшие Open-Source LLM для кодинга

Отдельный рейтинг для тех, кто строит coding assistants, IDE-плагины и системы ��втоматического ревью. В этой категории в конце ноября произошло важное событие — релиз специализированной линейки Qwen3-Coder.

Лидеры рейтинга

Qwen3-Coder-480B-A35B-Instruct — новый «король кода». Это массивная MoE-модель (480 млрд параметров, 35 млрд активных), которая вперв��е в истории open-source пробила 80% на SWE-bench, опережая даже Claude Opus 4.5. Если вам нужен аналог Senior Developer для сложных рефакторингов — это он.

Qwen3-Coder-30B-A3B — лучшее соотношение цена/качество. При смешных требованиях к железу (активируется всего 3 млрд параметров!) она выдает почти 90% на HumanEval+, обгоняя многие 70B-модели. Идеальный выбор для локального Copilot в VS Code.

🇷🇺 Феномен GigaChat

GigaChat3-702B занимает почетное место в мировом топ-6, и здесь важен контекст.
Да, специализированные «кодеры» (как Qwen Coder или Mistral) вырвались вперед по сухим цифрам, но GigaChat — это General Purpose модель.

Показатель 86.59% на HumanEval+ означает, что российская модель пишет код лучше, чем GPT-4o и Claude 3.5 Sonnet (образца 2024 года).

Почему для нас GigaChat может быть №1:

1. Русский контекст: Она идеально понимает ТЗ на русском, комментарии в кириллице и специфику 1С/Bitrix, где западные модели часто «плывут».

2. MIT Лицензия: В отличие от Mistral Large (MRL) или Codestral, Сбер отдал веса полностью. Никаких ограничений на коммерческое использование.

3. Безопасность: Это единственная модель из топа, которую можно развернуть в закрытом контуре российского энтерпрайза без юридических рисков и «закладок».

💡 Итог: Если вам нужен сухой код на Python/JS — берите Qwen3-Coder. Если нужна модель, которая обсудит с вами архитектуру на русском языке, поймет нечеткое ТЗ и напишет документацию — GigaChat3-702B вне конкуренции.

🇷🇺 Российские и русскоязычные модели

Отдельная секция для отечественных разработок. Спойлер: есть чем гордиться.

Что сделал Сбер

Команда SberDevices выпустила GigaChat3 — и это не «ещё одна российская LLM». Это:

1. 702B параметров с архитектурой Mixture-of-Experts (36B активных)

2. 86.59% на HumanEval+ — мировой рекорд на момент релиза

3. MIT-лицензия — полностью открытые веса, используйте как хотите

4. Pretrain с нуля — не файнтюн китайской модели, а собственный корпус данных

Также выпущена компактная GigaChat3-10B — 10 миллиардов параметров, 1.8B активных. Влезает в RTX 4090, показывает 69.51% на HumanEval и 70% на MATH. Отличный вариант для локального запуска.

Vikhrmodels — комьюнити-разработка

Отдельного упоминания заслуживает проект Vikhrmodels — команда энтузиастов, адаптирующая мировые модели под русский язык:

• Vikhr-Nemo-12B — адаптация Mistral-Nemo, оптимизирована для RAG-задач

• QVikhr-3-4B — улучшенная Qwen3-4B, +20.7% на русскоязычных бенчмарках

Требования к GPU VRAM

Практическая таблица для планирования инфраструктуры.

Зачем платить за API, когда есть Open-Source?

Хороший вопрос. Давайте честно.

Математика простая:

Сценарий 1: Стартап, 100K запросов/месяц

• GPT-4o API: ~$1,750/месяц

• Аренда H100: ~$1,500-2,200/месяц, но запросов неограниченно

При 100K+ запросов self-hosted уже выгоднее.

Сценарий 2: Небольшая команда, 10K запросов/месяц

• GPT-4o API: ~$175/месяц

• Аренда H100: ~$1,500+/месяц

Здесь API выигрывает в 10 раз.

Но есть нюанс

Простой человек и даже средняя компания не может просто так купить сервер с H100 за десятки тысяч долларов. Это реальность.

Поэтому реальный компромисс:

💡 Практический совет: Начните с API, измерьте реальные объёмы, посчитайте unit economics. Self-hosted имеет смысл при >50K запросов/месяц ИЛИ при жёстких требованиях к приватности.

Данные: почему не все могут сделать свою LLM

Хотите понять, почему не каждая компания может выпустить свой GPT-4? Ответ не в архитектуре — трансформеры давно опубликованы. Ответ в данных.

Что нужно для pretrain:

Почему это ОЧЕНЬ дорого:

1. Сбор данных — лицензии, парсеры, петабайты хранилища

2. Очистка — до 90% сырых данных отбраковывается

3. Дедупликация — без неё модель «заучивает», а не «понимает»

4. Compute — pretrain на 14T токенов = месяцы работы кластера из 1000+ GPU

Кто в России делает pretrain с нуля?

Только Сбер.

И это не преувеличение. Pretrain GigaChat3-702B — это:

• Кластер из тысяч GPU

• Месяцы непрерывной работы

• Десятки ML-инженеров

• 14 триллионов токенов собственного корпуса

Остальные российские проекты работают с файнтюном существующих моделей — и это разумный подход при ограниченных ресурсах. Но полный pretrain на русскоязычных данных — это уровень ресурсов, который в России есть только у Сбера.

📖 Рекомендую: Pretrain: как мы собрали обучающий корпус из 14 триллионов токенов — отличная техническая статья от команды SberDevices.

LLM в агентных системах

Агенты — следующий рубеж после простых чатботов. Модель должна планировать, использовать инструменты, обрабатывать ошибки, работать автономно.

Что нужно от модели для агентов:

• Function calling — надёжный вызов внешних API

• Длинный контекст — помнить историю сессии

• Следование инструкциям — не отклоняться от плана

• Самокоррекция — понимать, когда что-то пошло не так

Топ-6 моделей для агентных систем

Честно о сложностях open-source агентов

Проблемы:

• Function calling менее надёжный, чем у GPT/Claude

• Чаще «галлюцинирует» при длинных сессиях

• Меньше примеров и best practices

Преимущества:

• Полный контроль над моделью

• Можно дообучить на своих данных

• Нет rate limits и зависимости от внешнего API

• Приватность данных

💡 Практический совет: Для production-агентов начните с Claude/GPT. Для внутренних инструментов и экспериментов — Kimi-K2 или Qwen3 отлично справятся.

VLM: модели с пониманием изображен��й

Vision-Language Models — отдельная категория, где модель понимает и текст, и картинки. Ноябрь 2025 принёс несколько важных релизов в этой области.

Что нового в VLM

ERNIE 5.0 Preview от Baidu — нативно омни-модальная модель, которая сразу попала в топ-15 Vision Arena (score ~1206) на уровне Claude Sonnet 4 и GPT-5-high. Особенно сильна в документах и графиках.

Qwen3-VL-235B-A22B-Thinking от Alibaba — флагманская VLM с поддержкой:

• Visual Agent — может управлять GUI на ПК и мобильных устройствах

• Visual Coding — генерирует HTML/CSS/JS из скриншотов

• 3D Grounding — пространственное понимание объектов

• Контекст до 256K токенов

Топ-6 VLM (ноябрь 2025)

💡 Для практиков:

• Нужен VLM для анализа скриншотов, документов? Gemma-3-27B работает на одном H100.

• Хотите автоматизацию GUI? Qwen3-VL-235B-Thinking — единственная open-source с visual agents.

• Работаете с китайским контентом? ERNIE 5.0 или Qwen3-VL будут оптимальны.

Open-Source VLM: на что обратить внимание

Ключевые выводы

1. Монополия закончилась

Open-source модели официально достигли уровня проприетарных. Kimi-K2 (MIT) сравним с Claude 3.5 Sonnet. DeepSeek-R1 (MIT) — лучший в мире на математике.

2. MoE — архитектура 2025 года

Большинство топовых моделей используют Mixture-of-Experts: триллион параметров, но активируется 3-5%. Качество «большой» модели при затратах «маленькой».

3. Россия в игре

GigaChat3-702B от Сбера — не «догоняющая разработка», а мировой рекорд на HumanEval+ (86.59%). Под MIT-лицензией. Это достижение мирового уровня.

4. VLM становятся агентами

Новое поколение VLM умеет не только видеть, но и действовать: управлять GUI, генерировать код из скриншотов, понимать 3D-пространство.

5. Таблица выбора

И тут практически нет Чат-ЖПТ от Open-АИ🙂.

6. Что это значит для вас?

• DS/ML-инженерам: Пора пробовать open-source в production. Качество уже там.

• Стартапам: Считайте unit economics. >100K запросов — self-hosted выгоднее.

• Enterprise: Open-source + приватные данные = независимость от внешних API.

• Всем: Следите за китайскими и российскими релизами. Там сейчас происходит самое интересное.

Понравилась статья? Делитесь в комментариях своим опытом с LLM. Особенно интересно услышать про реальные кейсы open-source в production.

Источники: HuggingFace, Anthropic, OpenAI, Google DeepMind, Alibaba (Qwen), DeepSeek, Moonshot AI, Sber, Vikhrmodels, Baidu, Aider LLM Leaderboards, LMArena (Vision/Text Arena)

Дата: Декабрь 2025