Разбираем 14 самых популярных бенчмарков для LLM
Opus 4.5 набирает 80.6% на SWE-bench Verified. Opus 4 — 72.5%. Значит ли это, что Opus 4.5 лучше программирует, чем Opus 4?Ну... возможно. Но SWE-bench Verified это не показывает. Он показывает способность модели чинить небольшие баги в 12 популярных open source Python-репозиториях, которые почти наверняка входят в её обучающие данные. SWE-bench Verified не тестирует умение ориентироваться в вашем TypeScript-монорепо, Spring Boot-приложении или самописном ORM, на котором настоял предыдущий CTO.
Создатель бенчмарка ARC-AGI предсказал сроки появления AGI
Франсуа Шолле, создатель Keras и бенчмарка ARC-AGI, опубликовал тред в X
Автор «теста на AGI» объяснил истинную цель своего бенчмарка
Создатель бенчмарка ARC-AGI-2 Франсуа Шолле ответил
ARC-AGI для оценки способностей ИИ и новый релиз ChatGPT 5.2
Вчера вышла новая версия модели ChatGPT 5.2. В очередной раз Сэм Альтман и OpenAI удивляют качеством модели (в последний месяц было так много релизов, что они решили не отставать). В целом, все как обычно — топовые результаты на большинстве бенчмарков.Но хочу уделить внимание одному очень сложному бенчмарку, на котором пока многие спотыкаются — ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence). Именно здесь ChatGPT 5.2 показал значительный скачок.На сегодня существует две версии этого теста. Так о чем же он?ARC-AGI-1История начинается в 2019 году со статьи
Почему традиционные тесты не отражают реальный потенциал ИИ
Интеллект проявляется повсеместно, но его измерение кажется субъективным. В лучшем случае мы приблизительно оцениваем его с помощью тестов и контрольных заданий. Вспомните вступительные экзамены в колледж: каждый год бесчисленное количество студентов записываются на них, заучивают советы по подготовке к экзаменам и иногда получают идеальные баллы. Означает ли одно число, например 100%, что у тех, кто его получил, одинаковый уровень интеллекта — или что они каким-то образом максимально раскрыли свой интеллект? Конечно, нет. Тесты — это приблизительные, а не точные измерения реальных возможностей кого-либо или чего-либо.
ИИ генерирует длинные видео: возможное решение проблемы вычислительных требований
Исследователи разработали метод создания более длинных и связных видеороликов с искусственным интеллектом, которые рассказывают сложные истории.
Прогресс в AGI вызывает сомнения
Тест ARC-AGI (сокр. Abstract and Reasoning Corpus for Artificial General Intelligence), созданный в 2019 году ведущей фигурой в AI Франсуа Шолле для оценки способностей искусственного интеллекта к обучению, показывает улучшение результатов. Однако это может свидетельствовать скорее о недочетах в самом тесте, чем о реальном прорыве в развитии ИИ.
