open weights модель.

Thinking Machines Lab представила Inkling – open-weights модель с 975 млрд параметров и ставкой на кастомизацию

Стартап Thinking Machines Lab, основанный бывшим CTO OpenAI Мирой Мурати, выпустил свою первую фундаментальную модель — Inkling. Вместо гонки за лидерством в бенчмарках компания делает ставку на открытые веса, мультимодальность и инфраструктуру для глубокой кастомизации моделей под конкретные продукты.По характеристикам релиз получился одним из самых крупных среди открытых моделей:975 млрд параметров (архитектура Mixture-of-Experts);41 млрд активных параметров на токен;контекстное окно до 1 млн токенов;предварительное обучение на 45 трлн токенов, включающих текст, изображения, аудио и видео.

продолжить чтение