gpu.
Масштабирование LLM: от одного чипа до ЦОДа. Глава 1. Теоретические основы
ПредисловиеНедавно прочитал цикл статей о масштабировании LLM от Jax, в котором очень подробно и во всех нюансах разжеван процесс тренировки и инференса LLM на разных масштабах. Мне он показался очень полезным, поэтому я решил подготовить цикл статей на русском, являющихся не столько переводом, сколько научно-популярным пересказом того, что там написано, поскольку оригинальный текст рассчитан в основном на специалистов, и неспециалисту многие моменты в нем могут показаться сложными и не очевидными. Также планирую добавить информацию из других источников, например
9 агентов, 6 моделей, 1 сервер: как собрать ИИ-компанию на open-source в марте 2026
Я собрал команду из 9 ИИ-агентов, которая проектирует, пишет, тестирует и деплоит других ИИ-агентов. Полный цикл — от пользовательского запроса до production-ready кода с тестами и security review. Без людей в цикле.Ниже — конкретика: какие модели, на какие роли, почему именно эти, как они шарят GPU, сколько стоят в гигабайтах и какие бенчмарки реально определяют выбор. С конфигурациями развёртывания от одной RTX 4090 до кластера A100.TL;DR: 9 логических агентов = 3-4 физических модели. Минимальный сетап — 24 GB VRAM (одна RTX 4090). Полный продакшен — 211 GB (четыре A100). Интерактивный дашборд
Нейросеть Alibaba тайно от своих создателей начала майнить криптовалюту на собственных GPU
Основатель Pluralis.ai, исследователь в области машинного обучения Александр Лонг поделился техническим отчётом Alibaba, в котором говорится, что нейросеть компании тайно от создателей занялась майнингом криптовалюты на своих же GPU. При этом ИИ этому никто специально не обучал.
Разворачиваем приватную LLM в кластере Kubernetes в прямом эфире
Приглашаем на бесплатный вебинар
Какие LLM потянет ваше железо?
Всем привет,Продолжаю разбираться с ИИ - вычислениями ...Спасибо t.me/prog_stuff за наводку на llm-checker — CLI, который сканирует железо и говорит, какие модели потянет Ollama. Сканирует GPU, RAM, CPU и оценивает каждую модель по скорости, качеству и совместимости. 35+ моделей от 1B до 32B, список модерируется вручную.Ссылка репозитарий на GitHub, установка командой: npm install -g llm-checker.Проверил на своем MacAir (M1, 16 Гб), получил такую рекомендацию - qwen2.5 - coder, 7B. Буду пробовать.
Словарь терминов GPU (перевод Modal GPU Glossary на русский)
Словарь терминов GPU (перевод Modal GPU Glossary на русский)Источник: Modal GPU Glossary Лицензия оригинала: CC BY 4.0 Перевод: выполнен для образовательных целейВведениеМы создали этот словарь, чтобы решить проблему, с которой столкнулись при работе с GPU в Modal: документация фрагментирована, что затрудняет связь концепций на разных уровнях стека, таких как архитектура потокового мультипроцессора, вычислительная способность и флаги компилятора nvcc.Аппаратное обеспечение устройства (Device Hardware)
Типовые сценарии использования GPU
Первый шаг на пути освоения темы GPU - вычислений "Словарь терминов для новичков в GPU-вычислениях (2026)" доступен по ссылке.Продолжаю разбираться в GPU (ИИ) вычислениях, в это статье с типовыми сценариями использования GPU. Крупные компании, например Wildberries, строят под ИИ собственные и специализированные дата - центры. Средние - покупают сервера с GPU себе в стойку.Остальным возможно подойдет аренда в облаке, например:Исследователю, дообучающему LL на специализированном корпусеСтартаперу, запускающему ИИ - сервис без бюджета на дата-центр
