В Google DeepMind представили концепт указателя мыши с возможностями искусственного интеллекта. Он призван решить проблему работы с инструментами ИИ, которые находятся в отдельных окнах.
«Мы хотим обратного: интуитивно понятного ИИ, который будет взаимодействовать с пользователями во всех используемых ими инструментах, не прерывая их рабочий процесс. Например, представьте, что вы указываете на изображение здания и запрашиваете “Покажите мне маршрут”. Больше ничего не нужно, когда система ИИ уже понимает контекст», — пояснили исследователи.
Курсор работает на платформе Gemini. Например, вы может посетить Google AI Studio, чтобы отредактировать изображение или найти места на карте, просто указав пальцем и произнеся команду.
Исследователи разработали четыре принципа, которые в совокупности переносят сложную работу по передаче контекста и намерений с пользователя на компьютер, заменяя текстовые подсказки более простыми и интуитивно понятными взаимодействиями:
-
возможности ИИ должны работать во всех приложениях. Прототип указателя с поддержкой ИИ доступен везде, например, он может указать на PDF-файл и запросить краткое изложение в виде списка для вставки непосредственно в электронное письмо, навести курсор на таблицу статистики и запросить версию в виде круговой диаграммы либо выделить рецепт и попросить удвоить все ингредиенты;
-
объяснять то, что видит пользователь. Современные модели ИИ требуют точных инструкций, и им приходится писать подробную подсказку. Указатель с поддержкой ИИ упростит этот процесс, плавно захватывая визуальный и семантический контекст вокруг указателя, позволяя компьютеру «видеть» и понимать, что важно для пользователя. В экспериментальной системе достаточно просто указать пальцем, и ИИ точно знает, с каким словом, абзацем, частью изображения или блоком кода пользователю нужна помощь;
-
преобразовывать пиксели в структурированные сущности, такие как места, даты и объекты, с которыми пользователи могут мгновенно взаимодействовать. Так, ИИ сможет превратить фотографию набросанной заметки в интерактивный список дел, а стоп-кадр в видеоролике о путешествии — в ссылку для бронирования столика в том самом ресторане;
-
понимать простые фразы. Например, пользователь может сказать: «Исправьте это», «Переместите это сюда» или «Что это значит?», а система искусственного интеллекта поймёт сочетание контекста, указания и речи.
Ранее Google анонсировала линейку ноутбуков «Googlebook», которая выйдет этой осенью. Устройства будут работать на новой операционной системе, созданной на основе Android и ChromeOS, и будут запускать Chrome, приложения Android, приложения и файлы, подключаемые к телефону, а также будут интегрированы с функциями Gemini.
Автор: maybe_elf
