cuda.
KernelEvo — автоматическая генерация GPU-ядер
Писать быстрые GPU‑ядра вручную долго и требует узкой экспертизы: нужно понимать модель памяти, эффективные паттерны доступа к памяти, ограничения конкретного бэкенда и уметь быстро разбираться в compile и runtime ошибках. При этом выигрыш от кастомного kernel'а может быть очень заметным. Поэтому автоматизация и упрощение процесса разработки ядер — практически важная задача.
От MNIST к Transformer. Часть 2. Основы работы с памятью
Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком. Это вторая статья из цикла От MNIST к Transformer
От MNIST к Transformer. Hello CUDA. Основы, Setup и наше первое ядро
Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком. Я хочу запустить большой цикл статей От MNIST к Transformer
Куда и почему уходят бабки на нейросети
Малоизвестный среди обычных людей факт: у нейросетей нет никаких "разговоров". Ты смотришь в веб-интерфейсе на "диалог" - но это обман, красивый фокус.Каждый раз, когда ты пишешь новое сообщение, все старые сообщения обрабатываются заново. У нейросетей по-настоящему многоразовых задач не существует. Если результат немного поменялся — тебе просто не покажут в веб-интерфейсе изменившиеся сообщения.
Собираем ROCm 7.1 + PyTorch в Windows под свои GPU
ВведениеВ этой статье я поделюсь опытом сборки еще не вышедшей на момент написания ROCm 7 под свои GPU, даже если их нет в списке официально поддерживаемых архитектур. Затем покажу, как с собранным ROCm 7 собрать PyTorch и запустить ComfyUI. Для примера я буду собирать ROCm под RX 6800 + Radeon 780m. Я предполагаю, что читатель уже знает, что такое ROCm и зачем он нужен.
Пишем LLM бенчмарк для GPU-серверов с картами NVIDIA в Ollama
Автор: Александр Казанцев, руководитель направления по работе с документацией и контентом HOSTKEYПри сборке GPU-серверов или при проблемах с ними, которые сообщают наши клиенты, нам необходимо проводить их тестирование. Так как разворачивание LLM-моделей в Ollama является одним из сценариев их использования и мы предлагаем готовые панели с моделями на её основе, то нам необходимо также проверять машины на работоспособность и под нагрузкой в инференсе через нее и иметь результаты для сравнения.GPU-серверы — почасовая тарификация
Production AI сервер за ₽0: полный гайд по сборке ML-станции для Stable Diffusion на б-у комплектующих
Комплектующие для ИИ сервера Я это сделал. За один день.Часть 1: Аппаратная частьВыбор видеокарт: RTX 2060 vs RTX 1060
