Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBench
Мы поменяли требования в задачах кодингового бенчмарка и увидели, как модели отговаривают себя их выполнять.Иногда агент прекрасно понимал новое требование. Он описывал, что нужно изменить, прикидывал реализацию, а потом решал, что скрытые тесты, скорее всего, ждут чего-то другого. В одном прогоне модель правильно реализовала изменение, спросила у другой модели исходное решение бенчмарка и, получив его, удалила свой правильный код.
