Теперь Grok 2.5 можно запускать локально

Инженеры Unsloth представили оптимизированную версию ^[1] модели Grok 2.5, которая теперь может работать локально на Mac с 128 ГБ оперативной памяти ^[2]. В тестах достигли скорости около пяти токенов в секунду при размере модели в 270 миллиардов параметров.

Главное достижение — это радикальное сокращение веса. Размер Grok 2.5 уменьшили с 539 ГБ до 118 ГБ, то есть на 80%. Для этого ключевые слои модели сохранили в 8-битном формате, а все остальные сжали с помощью динамического 3-битного GGUF. При этом базовая архитектура и функциональность модели остались нетронутыми.

Разработчики отмечают, что оптимизация открывает путь к запуску сверхкрупных моделей без доступа к дата-центрам и дорогостоящим GPU. Теперь Grok можно использовать локально для экспериментов и приложений, где важна приватность или нет доступа к облаку.

Делегируйте часть рутинных задач вместе с ^[3]BotHub ^[4]! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[5] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Автор: cognitronn

Источник ^[6]

Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/19280

URLs in this post:

[1] представили оптимизированную версию: https://docs.unsloth.ai/basics/grok-2

[2] памяти: http://www.braintools.ru/article/4140

[3] : https://bothub.chat/?utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_source=contentmarketing&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_medium=habr&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_campaign=news&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_content=GEMINI%20ON%20CHATGPT%27S%20HEELS:%20THE%20LATEST%20AI%20RANKING%20FROM%20ANDREESSEN%20HOROWITZ

[4] BotHub: https://bothub.chat/?utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_source=contentmarketing&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_medium=habr&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_campaign=news&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_content=GROK%202.5%20CAN%20NOW%20BE%20RUN%20LOCALLY

[5] По ссылке: https://bothub.chat/?invitedBy=m%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_aGCkuyTgqllHCK0dUc7

[6] Источник: https://habr.com/ru/companies/bothub/news/945164/?utm_source=habrahabr&utm_medium=rss&utm_campaign=945164

Нажмите здесь для печати.