Google обновила Android Bench — бенчмарк для оценки LLM в задачах Android-разработки

Google обновила ^[1] Android Bench — бенчмарк для оценки LLM в задачах Android-разработки. Инженеры компании полностью переработали методологию тестирования, добавили новые модели и предоставили возможность разработчикам участвовать в развитии набора тестов.

Главным обновлением стал переход на фреймворк Harbor, который теперь отвечает за выполнение всех тестов Android Bench. Это позволяет оценивать модели более последовательно, воспроизводить результаты и быстрее добавлять новые сценарии проверки. Кроме того, система теперь оценивает не только качество ответа, но также стоимость конкретной LLM и эффективность.

Сторонние разработчики теперь могут влиять на развитие бенчмарка. Google призывает делиться реальными рабочими задачами и обсуждать методы оценки моделей. Это должно помочь регулярно обновлять наборы тестов и лучше отражать сценарии использования LLM в Android-разработке.

Кроме того, в таблице результатов появились новые языковые модели: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Max и Qwen 3.7 Plus. В тройке лидеров сейчас Claude Fable 5, GPT 5.5 и Claude Sonnet 5.