Google представила открытую модель эмбеддингов для локальных AI-приложений
Google объявила о запуске EmbeddingGemma [1], новой модели эмбеддингов, предназначенной для работы прямо на устройствах без подключения к интернету. Модель имеет 308 миллионов параметров, поддерживает более 100 языков и демонстрирует лучшие показатели среди всех открытых моделей размером до 500 млн параметров по тесту MTEB.
После квантования модель потребляет менее 200 МБ оперативной памяти [2], а генерация эмбеддингов занимает около 20 миллисекунд на устройствах с EdgeTPU, что делает её удобной для локальных и мобильных AI-приложений.
Особенностью EmbeddingGemma является технология Matryoshka Representation Learning, которая позволяет использовать разные размеры векторов — от 768 до 128 — в зависимости от задач и ресурсов устройства. Контекстное окно достигает 2000 токенов, что повышает гибкость применения модели в различных сценариях.
Google уже интегрировала EmbeddingGemma с популярными инструментами, включая SentenceTransformers, Llama.cpp, LangChain и Transformers.js. Веса модели открыты для использования и коммерческой адаптации, что делает её доступной для широкого круга разработчиков и компаний, работающих с локальными AI-системами.
По словам Google, EmbeddingGemma открывает новые возможности для приложений, которым критически важно быстрое и эффективное создание эмбеддингов без облачных вычислений, включая персональные ассистенты, поисковые системы и инструменты анализа данных на устройствах пользователей.
Делегируйте часть рутинных задач вместе с BotHub! [3] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке [4] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник [5]
Автор: cognitronn
Источник [6]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/20394
URLs in this post:
[1] EmbeddingGemma: https://huggingface.co/collections/google/embeddinggemma-68b9ae3a72a82f0562a80dc4
[2] памяти: http://www.braintools.ru/article/4140
[3] BotHub!: https://bothub.chat/?utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_source=contentmarketing&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_medium=habr&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_campaign=news&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_content=OPENAI%20PREPARES%20A%20NO-CODE%20PLATFORM%20FOR%20BUILDING%20AUTONOMOUS%20AI%20AGENTS
[4] По ссылке: https://bothub.chat/?invitedBy=m_aGCkuyTgqllHCK0dUc7
[5] Источник: https://developers.googleblog.com/en/introducing-embeddinggemma/
[6] Источник: https://habr.com/ru/companies/bothub/news/954076/?utm_source=habrahabr&utm_medium=rss&utm_campaign=954076
Нажмите здесь для печати.