pc.
ИИ-агенты решили 99,4% задач. Но сначала 23 инженера 404 часа чинили сам экзамен
Представьте, что вы нанимаете программиста. Даёте ему 100 задач из реальных проектов, проверяете решения автоматическими тестами и получаете результат: 99 правильных.Впечатляет. Особенно если программист — нейросеть.Но затем выясняется, что часть экзаменационных заданий составлена неправильно. Некоторые тесты отвергают работающий код. Другие принимают неполные исправления. А в отдельных случаях испытуемый может найти готовый ответ в интернете.Именно с такой проблемой столкнулись исследователи, оценивающие современных ИИ-агентов для программирования.
