После опроса более 30 разработчиков, руководителей технологических компаний, аналитиков и исследователей издание MIT Technology Review выяснило, что энтузиазм некоторых из них угасает по мере того, как они сталкиваются с ограничениями технологии искусственного интеллекта.
Данные аналитической компании GitClear показывают, что большинство инженеров с 2022 года создают на 10% более надёжный код, вероятно, благодаря ИИ. Но этот прирост сопровождался резким снижением ряда показателей качества кодовой базы. Опрос Stack Overflow также показал, что доверие и позитивное отношение к инструментам ИИ впервые значительно снизились. А июльское исследование некоммерческой исследовательской организации Model Evaluation & Threat Research (METR) выявило, что объективные тесты с участием опытных разработчиков показали падение их производительности на 19% с внедрением ИИ.
Разработчики, опрошенные MIT Technology Review, в целом согласны с устоявшимися плюсами таких инструментов: создание «шаблонного кода», написание тестов, исправление ошибок и объяснение незнакомого кода новым разработчикам. Несколько человек отметили, что ИИ помогает преодолеть «проблему чистого листа», предлагая «несовершенную первую попытку», чтобы разбудить творческое вдохновение разработчика. Он также позволяет нетехническим коллегам быстро создавать прототипы функций программного обеспечения, снижая нагрузку на и без того перегруженных инженеров. Однако эти задачи составляют лишь небольшую часть рабочей нагрузки опытного разработчика. В более сложных задачах, где инженеры действительно зарабатывают себе на жизнь, они сталкиваются со значительными ограничениями ИИ.
Модели также часто ошибаются. Но поскольку код, который они выдают, выглядит «отполированным», ошибки трудно обнаружить, говорит директор по разработке программного обеспечения в рекламной технологической компании Mediaocean Джеймс Лю. «В некоторых проектах вы получаете 20-кратное улучшение скорости или эффективности. В других случаях всё просто терпит крах, и вы тратите время, пытаясь заставить ИИ исполнить ваше желание, а он просто не делает этого», — говорит Лю. Существуют и более специфические проблемы безопасности. Так, исследователи обнаружили тревожный класс галлюцинаций, когда модели ссылаются на несуществующие программные пакеты в своём коде. Злоумышленники могут использовать это, создавая пакеты с такими именами, которые содержат уязвимости.
Кроме того, LLM могут хранить лишь ограниченное количество информации в контекстных окнах, поэтому «им сложно анализировать большие кодовые базы, и они склонны забывать, что делают при выполнении более длительных задач».
«Хотя сгенерированный LLM ответ на проблему может работать изолированно, программное обеспечение состоит из сотен взаимосвязанных модулей. Если они не разработаны с учетом других частей программного обеспечения, это может быстро привести к запутанной, непоследовательной кодовой базе, которую трудно анализировать человеку и, что более важно, поддерживать. Накопление технического долга неизбежно в большинстве проектов, но инструменты ИИ значительно упрощают работу инженеров, испытывающих нехватку времени, позволяя им экономить на качестве», — говорит программист Билл Хардинг из GitClear.
«По мере совершенствования моделей создаваемый ими код становится всё более многословным и сложным. Это снижает количество очевидных ошибок и уязвимостей безопасности, но за счёт увеличения количества “запахов кода” — труднообнаружимых недостатков, которые приводят к проблемам с поддержкой и техническому долгу», — соглашается Тарик Шаукат, генеральный директор Sonar.
Наконец, недавнее исследование Стэнфордского университета показало, что занятость среди разработчиков программного обеспечения в возрасте от 22 до 25 лет сократилась почти на 20% в период с 2022 по 2025 год. Тренд совпадает с ростом популярности инструментов программирования на основе ИИ.
Автор: maybe_elf
