Google объявила о запуске EmbeddingGemma, новой модели эмбеддингов, предназначенной для работы прямо на устройствах без подключения к интернету. Модель имеет 308 миллионов параметров, поддерживает более 100 языков и демонстрирует лучшие показатели среди всех открытых моделей размером до 500 млн параметров по тесту MTEB.
После квантования модель потребляет менее 200 МБ оперативной памяти, а генерация эмбеддингов занимает около 20 миллисекунд на устройствах с EdgeTPU, что делает её удобной для локальных и мобильных AI-приложений.
Особенностью EmbeddingGemma является технология Matryoshka Representation Learning, которая позволяет использовать разные размеры векторов — от 768 до 128 — в зависимости от задач и ресурсов устройства. Контекстное окно достигает 2000 токенов, что повышает гибкость применения модели в различных сценариях.
Google уже интегрировала EmbeddingGemma с популярными инструментами, включая SentenceTransformers, Llama.cpp, LangChain и Transformers.js. Веса модели открыты для использования и коммерческой адаптации, что делает её доступной для широкого круга разработчиков и компаний, работающих с локальными AI-системами.
По словам Google, EmbeddingGemma открывает новые возможности для приложений, которым критически важно быстрое и эффективное создание эмбеддингов без облачных вычислений, включая персональные ассистенты, поисковые системы и инструменты анализа данных на устройствах пользователей.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn
