OpenJarvis: фреймворк все-в-одном для ИИ-агентов

Stanford SAIL замерили ^[1], насколько эффективно локальные языковые модели конвертируют электроэнергию в полезные вычисления и назвали этот показатель “intelligence per watt”.

Они прогнали больше миллиона реальных запросов через 20+ моделей на 8 разных ускорителях и выяснили: с 2023 по 2025 год эффективность локального инференса выросла в 5,3 раза, а современные небольшие модели уже справляются с 88,7% обычных чат- и ризонинг-запросов. Железо и алгоритмы готовы, но не хватало софта.

Так появился OpenJarvis ^[2]: открытый фреймворк, который превращает эти выводы в инфраструктуру для персональных ИИ-агентов, работающих на устройстве пользователя.

Авторы проводят параллель с PyTorch: OpenJarvis должен стать для локального ИИ тем, чем PyTorch стал для глубокого обучения ^[3] – стандартной инфраструктурой, на которой строится все остальное.

Фреймворк структурирован вокруг 5 примитивов:

• Intelligence – слой языковых моделей с единым каталогом, где не нужно самому отслеживать релизы и считать память ^[4].

• Engine – бэкенд инференса: Ollama, vLLM, SGLang, llama.cpp, Apple Foundation Models и другие. Openjarvis сам определяет железо и рекомендует конфигурацию.

• Agents – слой поведения ^[5]: роли оркестратора и исполнителя рутинных сценариев, адаптированные под ограниченный контекст и память на устройстве.

• Tools & Memory – интеграции через MCP и Google A2A, семантическая индексация локальных документов, подключение к iMessage, Telegram и т.д.

• Learning – механизм адаптации: локальные трейсы превращаются в обучающие данные через SFT, LoRA и GRPO. Система сама упаковывает этот процесс в рабочий флоу.

Отдельная фишка – подход к эффективности. OpenJarvis профилирует энергопотребление на NVIDIA, AMD и Apple Silicon с интервалом 50 мс.

Использовать можно через CLI, браузерный дашборд или десктопное приложение ^[6] для macOS, Linux и Windows. Для полного функционала (безопасность, инструменты, агенты) потребуется Rust.

Фреймворк доступен на GitHub ^[7]. Кроме того, есть документация ^[8].

Делегируйте часть рутинных задач вместе с BotHub! ^[9] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[10] вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас.

Источник ^[8]