GitHub представил Vision for Copilot: генерация кода по изображениям

GitHub анонсировал ряд обновлений для Copilot, а также дал возможность заглянуть в более агентное будущее своего парного программирования на базе искусственного интеллекта ^[1] . Среди заметных обновлений — функция Vision for Copilot, которая позволяет пользователям прикреплять к чату снимок экрана, фотографию или диаграмму, а Copilot генерирует интерфейс, код и альтернативный текст для их воплощения в жизнь.

Так, например, кто-то из маркетинговой команды может сделать снимок экрана веб-страницы и проиллюстрировать некоторые изменения, которые он хочет внести в эту страницу. Вместо того, чтобы запрашивать такие изменения с помощью текстовых подсказок, теперь можно загрузить изображение и просто попросить Copilot реализовать изменения, как указано в файле.

Стоит отметить, что это было доступно как расширение ^[2] в VS Code с октября, и Microsoft подтвердила в описании приложения, что оно в конечном итоге будет упразднено в пользу собственной функции в GitHub Copilot Chat. Ранее для этого также требовалось, чтобы у пользователя был собственный ключ API.

GitHub также представляет новую функцию под названием «предложения по следующему редактированию» (next edit suggestions) как часть более широкой функциональности Copilot по завершению кода.

До сих пор GitHub Copilot в редакторе VS Code работал с позиции курсора, но теперь он будет смотреть на другие недавние правки, чтобы предсказать, что вы захотите сделать дальше. По сути, он использует более богатые контекстные подсказки для автоматического определения и предложения того, какой должна быть следующая правка. Если разработчик хочет принять предложения, он может нажать клавишу Tab или Esc, чтобы отклонить их.

GitHub также дебютировал с Copilot Edits в прошлом ноябре ^[3] , выступая в качестве нового способа внесения многофайловых правок с использованием подсказок на естественном языке. Эта функция теперь становится общедоступной, а также включает новый «режим агента», который идентифицирует все файлы, имеющие отношение к изменениям, которые пытается внести разработчик, — вместо того, чтобы полагаться на них для ручного выбора файлов, к которым должны применяться изменения.

«Copilot теперь выполняет большую часть работы по выяснению намерения, которое у вас было в исходном запросе, а затем пытается решить эту задачу», — рассказал генеральный директор GitHub Томас Домке.

В долгосрочной перспективе цель состоит в том, чтобы такие «режимы агентов» применялись к другим аспектам Copilot, обеспечивая большую автоматизацию в более широком диапазоне взаимосвязанных задач. Вот почему GitHub также анонсировал новую инициативу под названием Project Padawan, которая по сути является агентом SWE (программной инженерии) , ^[4] который может самостоятельно обрабатывать целые задачи под руководством разработчика, который назначает проблемы Copilot.

Домке не уточнил, когда проект может быть готов к запуску, отметив лишь, что он будет работать с партнерами и сообществом над его улучшением.

«Мы ищем партнеров, которые также создают агентов, чтобы интегрировать их в этот процесс, и клиентов, которые будут работать с нами и давать нам обратную связь — потому что мы знаем, что на данном этапе это не будет идеально», — сказал Домке.

Источник ^[5]