llm-d.

AI inference на K8s: как выживать с LLM в кубере. DRA, GIE, LLM-D

Дрейк тоже шарит за AI inference

продолжить чтение