Выпущен бенчмарк, проверяющий способность ИИ воссоздать FFmpeg

Новый бенчмарк ProgramBench ^[1] использует нестандартный подход к измерению способностей LLM. В его случае модель получает бинарные файлы и документацию ряда приложений (в том числе FFmpeg), а затем должна с нуля создать приложения с аналогичной функциональностью. При этом условия сделаны намеренно жёсткими: например, моделям не дают доступ в интернет.

Авторы ProgramBench обращают внимание ^[2], что обычно известные бенчмарки проверяют способности LLM к программированию на маленьких изолированных задачах: например, «исправить конкретный баг». Однако в реальности люди применяют ИИ и для полного создания проекта с нуля, порой почти безнадзорного, когда архитектурные решения оказываются за моделью. И способности в такой всесторонней деятельности ранее почти не измерялись систематически.

Сейчас результаты оказались такими: ни одна текущая модель не справляется с задачами целиком (так, чтобы получившееся приложение проходило 100% тестов). Порой проходит часть тестов, и это обычно не в случае с FFmpeg, а при воссоздании куда более простых CLI-приложений вроде утилиты fzf:

В бенчмарке решили ввести отдельную оценку «почти получилось» для случаев, когда проходят 95% тестов. И сейчас у лидера, Opus 4.7, получилось набрать это в 3% из всех заданий. А общий лидерборд выглядит так:

Комментаторы зачастую замечают, что и у живых людей обычно не получилось бы воссоздать FFmpeg без интернет-доступа. Поскольку результаты ИИ также околонулевые, порой возникает вопрос, считать ли этот бенчмарк решаемым в принципе. Авторы отвечают ^[3], что бенчмарк намеренно сделан очень сложным, однако решаемым. И они ожидают, что он будет считаться сложным ещё некоторое время.

В этом контексте полезно вспомнить, что с рядом других бенчмарков ранее происходила сатурация. При их создании модели показывали невысокие результаты, но позже новые модели начинали справляться с задачами, которые ранее считались сложными. Когда это происходило массово, бенчмарк переставал отражать различия моделей. В ответ на сатурацию периодически создаются более сложные бенчмарки, поднимающие планку выше, и ProgramBench — один из подобных шагов.