ИИ-инструменты замедляют опытных разработчиков: результаты исследования METR

Разработчики работали на 19% медленнее с ИИ, чем без него, хотя сами они считали, что ускорились на 20%.

METR провела контролируемое исследование с участием опытных разработчиков (правда только на 16-ти), которые решали реальные задачи по программированию. Участники были разделены на две группы:

• Одна группа использовала ИИ-инструменты, такие как Cursor и Claude.

• Другая работала без ИИ.

Задачи включали разнообразные сценарии из открытого ПО, чтобы отразить реальные условия работы. Время выполнения измерялось точно, а разработчики оценивали свою производительность субъективно.

Когда ребята подвели итоги, они выделили три ключевых фактора:

• Замедление вместо ускорения: Среднее время на задачу увеличилось на 19% при использовании ИИ.

• Самообман: Участники с ИИ переоценивали свою скорость, предполагая ускорение на 20%.

• Качество кода: Несмотря на замедление, качество кода не пострадало значительно, но и не улучшилось заметно.

Использование ИИ может вводить в заблуждение, создавая иллюзию продуктивности, в то время как реальное время тратится на корректировку подсказок и проверку результатов.

Основные причины замедления работы с ИИ?

• Итерации с промптами: Разработчики тратили много времени на доработку запросов к ИИ, чтобы получить полезный ответ.

• Проверка вывода: ИИ часто генерирует код с ошибками, требующий дополнительной отладки.

• Переоценка инструментов: Опытные разработчики, привыкшие к самостоятельной работе, не всегда эффективно интегрируют ИИ в свой workflow.

В отчете METR отмечается, что эти результаты относятся к текущим инструментам (на момент исследования в 2025 году) и могут измениться с развитием технологий.

Сравнение с другими исследованиями

Это не первый случай, когда ИИ показывает неоднозначные результаты. Например, в задачах по анализу кода или генерации, ИИ иногда ускоряет новичков, но замедляет экспертов. METR подчеркивает важность эмпирических тестов: “Мы рекомендуем читать полный отчет или тред с анонсом, а не только обзоры”.

Выводы на основе исследования

Если вы используете ИИ в работе:

• Тестируйте на практике: Не полагайтесь на субъективные ощущения — измеряйте время.

• Оптимизируйте промпты: Разрабатывайте шаблоны для быстрого взаимодействия с ИИ.

• Комбинируйте с традиционными методами: ИИ полезен для идей и прототипирования, но не для финальной реализации.

Ребята в METR подводят итоги: ИИ — инструмент, а не панацея. В будущем, с улучшением моделей, ситуация может измениться, но пока технологии нужно использовать осторожно и не питать иллюзий о гиперпроизводительности.

Подробный отчет доступен в блоге METR ^[1], а исходный тред — на платформе X (бывший Twitter – организация, признанная экстремистской в РФ).