vk cloud.

Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99

продолжить чтение

Под с GPU не лечится рестартом: устраиваем отказ устройства в кубере и чиним без вечного Pending

В 2024 году была опубликована интересная статья

продолжить чтение

Работа с AI-ML-нагрузками в Kubernetes: плагин Headlamp для Kubeflow

продолжить чтение

Создание кластер-осведомлённого ИИ-агента с Kubernetes, Argo CD и GitOps

Команда VK Cloud

продолжить чтение

GPU vs vGPU: что выбирать для быстрого запуска AI-сценариев и контроля над данными

Привет, Хабр. Меня зовут Дмитрий Сергеев. Я менеджер продукта «виртуальные серверы» (GPU) в компании VK Tech.

продолжить чтение

Приглашаем экспертов в совет по развитию облачных технологий в России

Привет, Хабр! На связи Александр Титов, директор Ассоциации профессионалов индустрии облачно-ориентированных технологий «АОТ», организатор сообщества DevOps Moscow и генеральный директор «Фланта». Это первая публикация в блоге АОТ на Хабре, но вы уже могли видеть новости о нас, побывать на конференции Kuber Conf by АОТ или участвовать в нашем исследовании State of Cloud Native

продолжить чтение

Эксперты для облачной индустрии: старт набора в совет АОТ

Привет, Хабр! На связи Александр Титов, директор Ассоциации профессионалов индустрии облачно-ориентированных технологий «АОТ», организатор сообщества DevOps Moscow и генеральный директор «Фланта». Это первая публикация в блоге АОТ на Хабре, но вы уже могли видеть новости о нас, побывать на конференции Kuber Conf by АОТ или участвовать в нашем исследовании State of Cloud Native

продолжить чтение

Cilium и защита CI-CD: как опенсорс-проект уровня ядра Kubernetes защищает свою цепочку поставок

продолжить чтение

Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

продолжить чтение

Как цифровой клон покупателя помогает ретейлу делать умные офферы

Привет, Хабр! Меня зовут Катя, я продакт-менеджер в Lenta Tech («Группа Лента»). Сегодня хочу рассказать о том, как цифровой клон покупателя помогает сделать персональные офферы с конверсией в лиды. В крупном ретейле персонализация давно стала обязательным минимумом, но на практике она часто упирается в грубые сегменты и массовые акции «для всех». Покупатель чувствует, что рассылка сделана не под него, и просто перестает реагировать.В статье расскажу о новом витке развития персонализации с использованием больших языковых моделей, а именно —

продолжить чтение

123