gpu.
Какие LLM потянет ваше железо?
Всем привет,Продолжаю разбираться с ИИ - вычислениями ...Спасибо t.me/prog_stuff за наводку на llm-checker — CLI, который сканирует железо и говорит, какие модели потянет Ollama. Сканирует GPU, RAM, CPU и оценивает каждую модель по скорости, качеству и совместимости. 35+ моделей от 1B до 32B, список модерируется вручную.Ссылка репозитарий на GitHub, установка командой: npm install -g llm-checker.Проверил на своем MacAir (M1, 16 Гб), получил такую рекомендацию - qwen2.5 - coder, 7B. Буду пробовать.
Словарь терминов GPU (перевод Modal GPU Glossary на русский)
Словарь терминов GPU (перевод Modal GPU Glossary на русский)Источник: Modal GPU Glossary Лицензия оригинала: CC BY 4.0 Перевод: выполнен для образовательных целейВведениеМы создали этот словарь, чтобы решить проблему, с которой столкнулись при работе с GPU в Modal: документация фрагментирована, что затрудняет связь концепций на разных уровнях стека, таких как архитектура потокового мультипроцессора, вычислительная способность и флаги компилятора nvcc.Аппаратное обеспечение устройства (Device Hardware)
Типовые сценарии использования GPU
Первый шаг на пути освоения темы GPU - вычислений "Словарь терминов для новичков в GPU-вычислениях (2026)" доступен по ссылке.Продолжаю разбираться в GPU (ИИ) вычислениях, в это статье с типовыми сценариями использования GPU. Крупные компании, например Wildberries, строят под ИИ собственные и специализированные дата - центры. Средние - покупают сервера с GPU себе в стойку.Остальным возможно подойдет аренда в облаке, например:Исследователю, дообучающему LL на специализированном корпусеСтартаперу, запускающему ИИ - сервис без бюджета на дата-центр
Словарь терминов для новичков в GPU-вычислениях (2026)
💡Ниже краткий словарь базовых понятий в GPU-вычислениях для новичков, ушлые все это уже очень надеюсь знают.Базовые понятияТерминОпределениеАналогияЗачем важно при арендеGPU (Graphics Processing Unit)Процессор, изначально созданный для рендеринга графики, но сейчас используемый для параллельных вычислений (ИИ, научные расчёты).Автобус с 100 местами (потоками) против легковой машины CPU с 8 местами. Для перевозки 100 человек автобус быстрее.
К2 НейроТех: ИИ выходит из пилотов — компании готовы к системной трансформации
ИИ выходит из экспериментальной стадии. По данным анализа К2 НейроТех (входит В К2Тех), доля российских компаний с утвержденными планами по ИИ выросла в 2,7 раза за последние три года. Бизнес готов к системному внедрению ИИ, однако переход к зрелой стадии требует новых подходов – выстроенных процессов, инфраструктуры и компетенций.Барьером становятся не технологии, а людиБлижайшие 2-3 года могут стать периодом массового пилотирования ИИ-решений. Однако многие проекты останавливаются на этой стадии – чаще всего из-за организационных проблем и недооценки трудозатрат.
Куда и почему уходят бабки на нейросети
Малоизвестный среди обычных людей факт: у нейросетей нет никаких "разговоров". Ты смотришь в веб-интерфейсе на "диалог" - но это обман, красивый фокус.Каждый раз, когда ты пишешь новое сообщение, все старые сообщения обрабатываются заново. У нейросетей по-настоящему многоразовых задач не существует. Если результат немного поменялся — тебе просто не покажут в веб-интерфейсе изменившиеся сообщения.
