Во вторник компания Google DeepMind представила новую языковую модель, получившую название Gemini Robotics On-Device. Эта модель способна выполнять локальные задачи на роботах без необходимости подключения к интернету.
Основываясь на предыдущей модели Gemini Robotics, выпущенной в марте, Gemini Robotics On-Device может управлять движениями робота. А разработчики могут управлять самой моделью и настраивать её в соответствии с различными потребностями, используя подсказки на естественном языке.
В ходе тестирования Google утверждает, что модель работает на уровне, близком к облачной модели Gemini Robotics. Компания заявляет, что в целом модель превосходит другие модели на устройствах, хотя и не называет их.
В ходе демонстрации компания показала, как роботы, работающие по этой локальной модели, расстегивают сумки и складывают одежду. Google сообщает, что, хотя модель была обучена для роботов ALOHA, позже она была адаптирована для работы с двуруким роботом Franka FR3 и гуманоидным роботом Apollo от Apptronik.
Google утверждает, что двурукий робот Franka FR3 успешно справлялся с задачами и объектами, которые он раньше «не видел», например, со сборкой на промышленном конвейере.
Google DeepMind также выпускает набор инструментов для робототехники Gemini. Компания заявила, что разработчики могут показывать роботам от 50 до 100 демонстраций задач, чтобы обучить их новым задачам с помощью этих моделей в физическом симуляторе MuJoCo.
Другие разработчики моделей ИИ также пробуют свои силы в робототехнике. Nvidia разрабатывает платформу для создания базовых моделей гуманоидных роботов; Hugging Face не только разрабатывает открытые модели и наборы данных для робототехники, но и работает над роботами; а корейский стартап RLWRLD, поддерживаемый Mirae Asset, работает над созданием базовых моделей для роботов.
По ссылке вы можете получить 100 000 бесплатных токенов для первых задач на BotHub и уже сейчас начать работать!
Автор: mefdayy
