- BrainTools - https://www.braintools.ru -

DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse

20 мая пройдёт наш первый инженерный митап Deckhouse User Community. В программе — доклады про работу Cilium и распределённый инференс LLM в домашних условиях с использованием K8s. После них проведём открытую дискуссию с инженерами Deckhouse и «Московского кредитного банка». Присоединяйтесь, регистрация уже открыта [1].

Программа

Cilium: всё, о чём вы догадывались, но боялись спросить

DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse - 1

Дмитрий Попков

Архитектор решений Deckhouse, «Флант»

В основе работы сетевой подсистемы в Deckhouse Kubernetes Platform лежит модуль cni-cilium. Как несложно догадаться из названия, он основан на проекте Cilium.

Из доклада Дмитрия вы узнаете, что такое Container Network Interface и как Cilium реализует этот стандарт. Мы разберём, как Cilium устроен «под капотом», а также его функциональные возможности и особенности. Отдельно поговорим о процессе обработки трафика и подходах к диагностике и выявлению неисправностей при использовании Cilium в продакшене.

Разделяй и шардируй: бюджетный домашний GPU-кластер для распределённого инференса с vLLM, Deckhouse и Ray

DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse - 2

Александр Подмосковный

Руководитель центра компетенций технологий взаимодействия с клиентом, «Московский кредитном банк»

В своём докладе Александр поделится, как сделать вход в мир ИИ проще и доступнее, нацелившись на запуск крупных языковых моделей без внушительных бюджетов. Используя Proxmox для проброса GPU, Kubernetes-кластер под управлением Deckhouse и инструменты вроде vLLM и Ray Serve, он покажет, как организовать эффективный и масштабируемый инференс, не переплачивая за инфраструктуру. 

Вы узнаете, как подключить удобный веб-интерфейс (OpenWebUI) и обеспечить безопасность через CDN/WAF. А в итоге увидите, что выделить домашний кластер под серьёзные AI-задачи — вполне реальная, захватывающая и экономная авантюра.

Q&A-сессия

После докладов проведём расширенную сессию вопросов и ответов. Для неё к спикерам присоединятся коллеги из «Фланта» и МКБ:

DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse - 3

Павел Тишков

Технический директор Deckhouse Virtualization Platform, «Флант»

DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse - 4

Александр Шишко

Техлид DevOps, «Московский кредитный банк»

Где и когда встречаемся

Встречаемся 20 мая в лофте «Событие» по адресу Николоямская улица, 28. Ближайшее станция метро — «Таганская». 

Программа стартует в 19:00, сбор гостей — с 18:15. Для участия нужно зарегистрироваться [1].

Если вы не сможете посетить митап офлайн, смотрите трансляцию на нашем YouTube-канале [2]. В прямом эфире можно будет задать вопросы, которые мы озвучим спикерам. Сейчас можно нажать на колокольчик, чтобы вам пришло напоминание о начале трансляции.

Автор: anna_lesnykh

Источник [3]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/14541

URLs in this post:

[1] уже открыта: https://flant.timepad.ru/event/3325473/?utm_refcode=6e463acbbf608cc93afca158448b4ed7de413c3b#register

[2] трансляцию на нашем YouTube-канале: https://www.youtube.com/live/Ggr2AAdBhp0

[3] Источник: https://habr.com/ru/companies/flant/news/901444/?utm_source=habrahabr&utm_medium=rss&utm_campaign=901444

www.BrainTools.ru

Rambler's Top100