Распределённый инференс и шардирование LLM. Часть 2: скрипт vLLM, Ray Serve для вывода API и настройка KubeRay Cluster
Продолжаем разбираться с тем, как можно эффективно работать с большими языковыми моделями, используя доступное оборудование.В этой части мы перейдём к организации распределённого инференса с помощью vLLM и обеспечим доступ к нему через Ray Serve. А ещё выясним, как запустить модель Gemma 3 в Ray-кластере и как проверить работу нашего OpenAI-совместимого эндпойнта с JWT-аутентификацией.
Google рассказывает, как ее LLM-программы могут изменить внутриигровые взаимодействия
В этом году на конференции разработчиков игр компания Google представила новые модели искусственного интеллекта и инструменты разработки, предназначенные для игровых студий. В недавнем сообщении в блоге компания подвела итоги своих объявлений и продемонстрировала «Gemma Journey» — игровую демоверсию, созданную для демонстрации того, как большие языковые модели (LLM) могут использоваться в играх.
Gemma3, новая опенсорсная модель от Google, уже доступна в Ollama
Модель Gemma 3 мультимодальная, то есть может обрабатывать текст и изображения, и имеет окно контекста размером 128 тысяч токенов с поддержкой более 140 языков.В Ollama она доступна в четырех вариантах с 1, 4, 12 и 27 миллиардами параметров и превосходно справляется с такими задачами, как ответы на вопросы, резюмирование и логическое мышление, в то время как их компактный дизайн позволяет развертывание на устройствах с ограниченными ресурсами.
Google выпускает новое семейство открытых моделей Gemma 3
Компания Google Deepmind представила Gemma 3 — новое поколение открытых моделей искусственного интеллекта, разработанных для обеспечения высокой производительности при относительно небольших размерах, что делает их пригодными для работы на отдельных графических процессорах или TPU.
Gemma 3: Google DeepMind делает ИИ по-настоящему доступным
Google DeepMind выкатила Gemma 3 – новое семейство открытых ИИ-моделей. И, судя по заявлениям, главный акцент сделан на доступность и производительность в реальных условиях. В эпоху, когда нейросети из экзотики превращаются в повседневный инструмент, такой подход выглядит особенно актуально. В этой статье попробовал разобраться, что же представляет собой Gemma 3.Архитектура Gemma 3: берем лучшее от Gemini 2.0 и оптимизируем
