CodeRabbit: в сгенерированном коде больше ошибок, чем в написанном людьми

Исследование проекта CodeRabbit показало ^[1], что код, сгенерированный искусственным интеллектом ^[2], содержит больше ошибок, чем написанный человеком. По данным компании, в среднем в одном pull request, созданном при помощи ИИ, скрывается 10,83 проблем против 6,45 у разработчиков. 

Чаще всего в коде, который сгенерировал ИИ, встречаются ошибки ^[3] в логике ^[4] и правильности написания (в 1,75 раза больше, чем у людей). Качество и удобство сопровождения кода от ИИ уступают человеческому примерно в 1,6 раза, а уровень ошибок, связанных с безопасностью и производительностью, выше в среднем в полтора раза. Среди типичных уязвимостей — неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и ошибки при десериализации данных.

По словам директора по ИИ CodeRabbit Дэвида Локера, инструменты генерации кода действительно повышают продуктивность программистов, но вместе с тем приводят к появлению предсказуемых и измеримых недостатков, которые компаниям нужно учитывать и устранять.

В то же время, по словам экспертов CodeRabbit, технология помогает ускорить ранние этапы разработки и снижает количество мелких неточностей. Например, ИИ в 1,76 раза реже допускает орфографические ошибки и на треть сокращает проблемы с тестируемостью. Кроме того, авторы исследования признают, что современные модели вроде GPT от OpenAI постепенно совершенствуются, а качество их кода становится стабильнее.