k8s.
Запускаем LLM на AMD RX580: разбор проблем ROCm, Ollama и реальный GPU inference
TL;DRМы пытались запустить LLM inference на старой AMD RX580 (8 VRAM) через ROCm в Kubernetes. GPU корректно определялся, VRAM использовалась, но inference падал с ошибками вида:hipMemGetInfo(free, total) CUDA error: invalid argumentПосле серии экспериментов с ROCm userspace, Docker‑образами и Kubernetes deployment выяснилось, что проблема лежит на границе:kernel → ROCm runtime → ggml backendФинальное решение включало:переход на kernel 6.8стабилизацию ROCm runtimeиспользование llama.cpp + ROCmgrammar‑constrained decoding для strict sanity promptsВ итоге мы получили стабильный GPU inference:~42 токен/секgpu_busy_percent → до 100%
Я перешла из Data Science в AI Engineering: вот всё, что вам нужно знать
Личный гид по навыкам, инструментам и мышлению, стоящим за этой должностьюData Science не умирает, но быстро эволюционирует.По прогнозам, число вакансий, связанных с искусственным интеллектом,
Почему многокластерные решения становятся стандартом, и как в этом замешаны IT-гиганты
Помните времена, когда веб-сервис работал на одном сервере под столом сисадмина? Никаких кластеров, балансировщиков и геораспределения — только железо, провод и простая логика. А сегодня нужны тысячи серверов, разбросанных по континентам, чтобы привычные сервисы поглощали терабайты данных, выдерживали DDoS-атаки и переживали падения дата-центров без единого сбоя для пользователя. Вопрос в том, как такая система вообще не разваливается? Как синхронизировать десятки тысяч нод, избегая конфликтов и обеспечивая сквозную безопасность? Мы разберем, через какие адские круги консистентности данных и управления трафиком прошли инженеры — и какие паттерны теперь спасают распределенные системы от коллапса.
Как Kubernetes стал стандартом управления инфраструктурой
В мире технологий все быстро меняется, но некоторые инструменты буквально «врастают» в инфраструктуру. Docker упростил работу с контейнерами, но дальше появилась новая задача: как управлять этим огромным количеством контейнеров, которые разрастаются словно настоящие экосистемы? Ответом стал Kubernetes. Сегодня технология де-факто считается стандартом для оркестрации. Компании от стартапов до корпораций уровня Google и Netflix полагаются на него для обеспечения стабильности и масштабируемости. Но как Kubernetes пришел к этому статусу? Что делает его номером один для управления сложной инфраструктурой? В этой статье разберем путь Kubernetes от амбициозного проекта Google до мировой популярности, поговорим о причинах успеха и о том, почему технология продолжает задавать тренды в IT-индустрии.
