Запускаем LLM на AMD RX580: разбор проблем ROCm, Ollama и реальный GPU inference
TL;DRМы пытались запустить LLM inference на старой AMD RX580 (8 VRAM) через ROCm в Kubernetes. GPU корректно определялся, VRAM использовалась, но inference падал с ошибками вида:hipMemGetInfo(free, total) CUDA error: invalid argumentПосле серии экспериментов с ROCm userspace, Docker‑образами и Kubernetes deployment выяснилось, что проблема лежит на границе:kernel → ROCm runtime → ggml backendФинальное решение включало:переход на kernel 6.8стабилизацию ROCm runtimeиспользование llama.cpp + ROCmgrammar‑constrained decoding для strict sanity promptsВ итоге мы получили стабильный GPU inference:~42 токен/секgpu_busy_percent → до 100%
Как вырасти в ML? Что меняется, когда повышается ответственность
Про рост в ML часто говорят как про набор навыков: продакшен, инфраструктура, MLOps, ещё несколько технологий. Кажется, этого достаточно для следующего шага в карьере. Но на практике важнее не стек, а подход: как вы влияете на продукт, качество и надёжность ML-систем. В историях выпускников курса «Практическая ML-инженерия» разбираем: Почему для Senior AI Engineer одного backend-опыта мало.Как перестать быть «человеком с ноутбуком» и начать влиять на продукт.Чем ML/AI полезны тимлиду по автоматизации (RPA + AI) в США?Рост в роли начинается с того, что вам дают более размытые задачи
Как мы улучшили рекомендации для пользователей Авито с помощью трансформенной персонализации
Привет! Меня зовут Саша Михеев, и я работаю в Авито над развитием персонализации пользователей. Делаю так, чтобы покупатели видели объявления, которые могут их заинтересовать. Расскажу, как мы внедряли трансформеры, чтобы улучшить рекомендации для пользователей.Статья будет полезна data scientist- и ML-инженерам, ML-Ops-специалистам и продакт-менеджерам.
Менеджер ML-экспериментов. Что это и как он нас выручает
Привет, Хабр! Меня зовут Владимир Кочетков, и я тимлид Deep Learning разработки в области распознавания речи и соавтор курса «MLOps для разработки и мониторинга моделей» в Яндекс Практикуме. А ещё автор скромного образовательного телеграм-канала про ML :-)Сегодня поделюсь опытом, как мы с командой внедряли менеджер ML-экспериментов, и расскажу:в чём сложность обучения моделей;когда нам понадобился менеджер экспериментов;
Дрейф данных в машинном обучении
Дрейф данных (Drift Data) — это ситуация, когда статистические свойства входных данных для модели машинного обучения изменяются со временем. При дрейфе данных взаимосвязи между признаками и самой целевой переменной перестают быть действительными. Это может привести к низкой производительности модели, неточным прогнозам и даже к сбоям.
Словарь терминов GPU (перевод Modal GPU Glossary на русский)
Словарь терминов GPU (перевод Modal GPU Glossary на русский)Источник: Modal GPU Glossary Лицензия оригинала: CC BY 4.0 Перевод: выполнен для образовательных целейВведениеМы создали этот словарь, чтобы решить проблему, с которой столкнулись при работе с GPU в Modal: документация фрагментирована, что затрудняет связь концепций на разных уровнях стека, таких как архитектура потокового мультипроцессора, вычислительная способность и флаги компилятора nvcc.Аппаратное обеспечение устройства (Device Hardware)
MLOps-пазл: как мы собрали единый конвейер для ML-моделей из разрозненных инструментов
Привет, Хабр! Меня зовут Андрей Качетов, я эксперт и партнер по ML-платформам.Пару лет назад я писал статью
