vllm.
The future of AI: formal grammars
Human language is a mechanism that narrows the infinite variability of possible sounds and their combinations into a strict communication system.Phonemes limit the combinations of sounds. In Russian, for example, there are only 42 of them.Words constrain combinations of phonemes and map our world into a discrete set of concepts — this gives rise to semantics.Sentences, in turn, constrain combinations of words, forming structures for describing phenomena in the world we perceive.
Будущее ИИ — формальные грамматики
Человеческий язык — это механизм, который ограничивает бесконечную вариабельность возможных звуков и их последовательностей в строгую систему коммуникации.Фонемы ограничивают сочетания звуков. В русском языке, например, их всего 42.Слова ограничивают сочетания фонем и переводят наш мир в дискретное множество понятий — так рождается семантика.Предложения, в свою очередь, ограничивают сочетания слов, создавая структуры для описания явлений воспринимаемого нами мира.Все эти ограничения составляют суть языка, его синтаксис и семантику.
Эффективный инференс множества LoRA адаптеров
LoRA — популярный метод дообучения больших моделей на небольших датасетах, однако на этапе инференса низкоранговые адаптеры работают неэффективно, а их объединение с весами требует хранения отдельной полной копии модели для каждого адаптера. MultiLoRA решает эту проблему, позволяя одновременно выполнять инференс с несколькими адаптерами на основе одной базовой модели. В статье мы сравним производительность MultiLoRA-инференса в двух популярных фреймворках — vLLM и TensorRT-LLM
Исследователи DeepSeek выпустили nano-vLLM — компактный движок для запуска языковых моделей
Команда исследователей DeepSeek выпустила nano-vLLM — легковесный движок для запуска языковых моделей. Проект написан с нуля на Python и занимает около 1200 строк, что меньше существующих решений. Код nano-vLLM опубликован на GitHub.
Распределённый инференс и шардирование LLM. Часть 2: скрипт vLLM, Ray Serve для вывода API и настройка KubeRay Cluster
Продолжаем разбираться с тем, как можно эффективно работать с большими языковыми моделями, используя доступное оборудование.В этой части мы перейдём к организации распределённого инференса с помощью vLLM и обеспечим доступ к нему через Ray Serve. А ещё выясним, как запустить модель Gemma 3 в Ray-кластере и как проверить работу нашего OpenAI-совместимого эндпойнта с JWT-аутентификацией.
Построение инфраструктуры для работы с языковыми моделями: опыт X5 Tech
Привет, Хабр! Я Мичил Егоров, руководитель команды разработки продуктов искусственного интеллекта в X5 Tech. В последнее время языковые модели (LLM) стали неотъемлемой частью многих бизнес-процессов, начиная от чат-ботов и заканчивая автоматической обработкой отзывов клиентов. Однако, чтобы эффективно использовать такие модели, необходима мощная и гибкая инфраструктура. За последний год команда X5 Tech значительно выросла, проверила множество гипотез и протестировала различные модели. Основные кейсы использования включают чат-боты, суфлёры для модераторов, автоматическое резюмирование и обработку отзывов клиентов.
