Google выпускает T5Gemma 2 — мультимодальная модель с поддержкой длинного контекста

Компания Google представила T5Gemma 2, обновленную версию своей модели T5, предназначенной для работы с текстом и изображениями. Главная цель апдейта – повысить эффективность обработки длинного контекста и мультимодальных задач. Инженеры внедрили tied word embeddings для энкодера и декодера, а также объединили механизмы self-attention и cross-attention в единый слой. Эти изменения позволяют снизить потребление памяти и ускорить обработку больших массивов данных.

T5Gemma 2 доступна в трех конфигурациях: 270 млн, 1 млрд и 4 млрд параметров, что позволяет использовать модель как для исследовательских, так и для промышленных задач. Модель поддерживает контекст до 128 000 токенов, что значительно расширяет возможности по обработке больших документов, длинных диалогов или сложных текстово-графических структур. Кроме того, T5Gemma 2 работает с текстом на 140 языках и умеет обрабатывать изображения, открывая путь к мультимодальному пониманию информации.

В тестах новая версия T5Gemma обошла предыдущую Gemma 3 по задачам на длинный контекст, кодинг и мультимодальное понимание, показывая значительный рост точности и стабильности. Благодаря этому модель может использоваться для сложных исследований, анализа больших текстовых массивов, автоматизации обработки документов, генерации кода и создания гибридных приложений с мультимодальными входными данными.

T5Gemma 2 уже доступна для исследователей на Hugging Face и Kaggle, что позволяет сообществу исследователей и разработчиков изучать возможности модели, проводить эксперименты и внедрять решения в собственные приложения. Google подчеркивает, что основной акцент сделан на эффективность, масштабируемость и поддержку мультимодальности, что делает T5Gemma 2 важным инструментом для современных ИИ-проектов.

В совокупности, релиз T5Gemma 2 показывает, что индустрия движется в сторону моделей с большим контекстом, поддержкой мультимодальных данных и возможностями для практического применения в различных сферах, от автоматизации бизнеса до научных исследований.

Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник