Copilot сможет видеть экран, понимать голосовые команды и выполнять действия на ПК за пользователя

Microsoft объявила ^[1] о запуске в Windows функций, которые позволят внедрить возможности искусственного интеллекта ^[2] в обычные ПК с Windows 11 — без необходимости покупать ПК Copilot+. ИИ-помощник Copilot сможет сканировать экран, понимать голосовые команды и выполнять за пользователя действия на ПК, пишет The Verge.

Активировать ИИ-помощника на любом ПК с Windows 11 можно будет с помощью кодовой фразы «Hey, Copilot». «Мы считаем, что голос станет третьим способом ввода данных на вашем ПК, — сказал ^[1] на брифинге с The Verge исполнительный вице-президент и директор по потребительскому маркетингу Microsoft Юсуф Мехди. — Он не заменит клавиатуру и мышь, но станет дополнением к ним и откроет новые возможности».

Компания расширяет возможности Copilot Vision, который может анализировать контент на экранах пользователей и отвечать на связанные с ним вопросы. Microsoft заявила, что также запустит функцию для участников программы предварительной оценки Windows, позволяющую взаимодействовать с Vision с помощью текста, а не только голоса.

Обновление Microsoft также включает экспериментальный режим Copilot Actions, который позволит ИИ-помощнику Microsoft выполнять действия на локальном ПК, например редактировать папку с фотографиями или бронировать столик в ресторане. Copilot Actions запускается в отдельной «защищённой и изолированной среде» на рабочем столе Windows и использует ИИ-агента для выполнения поставленных задач. Microsoft тестирует эту функцию на ПК с Windows в рамках программы предварительного просмотра, которая ограничена узким набором сценариев использования, пока Microsoft оптимизирует модель ИИ.

Компания также запустила ^[3] игровой помощник Xbox Gaming Copilot, который помогает геймерам во время игры: поддерживает, даёт советы и рекомендации.

Десять лет назад Microsoft уже пыталась ^[1] убедить людей использовать Cortana на ПК с Windows 10, а за последние 40 лет добавила в Windows различные голосовые функции для людей с ограниченными возможностями. Теперь Microsoft убеждена, что к «общению» с ПК людей подтолкнёт искусственный интеллект.