Обновление Android Bench: новые метрики и лидеры LLM

Harbor: новый движок для старых костылей

Сердце обновления — переход на фреймворк Harbor. Раньше тесты выполнялись по собственной методологии Google, теперь — через единый фреймворк. Это значит воспроизводимость результатов и проще добавлять новые сценарии. Бенчмарк теперь оценивает не только качество ответа, но и цену запроса, и эффективность. То есть, грубо говоря, можно выбирать модель не только по точности, но и по цене за токен на специфичную задачу.

Новый leaderboard: кто в топе, а кто в аутсайдерах

В таблицу результатов добавили сразу несколько моделей: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Max и Qwen 3.7 Plus. По данным источника, тройка лидеров — Claude Fable 5, GPT 5.5 и Claude Sonnet 5. Это сигнал: модели для кодинга развиваются не только в сторону объёма контекста, но и в сторону специализации под конкретную платформу.

Сообщество теперь влияет на тесты

Google открывает бенчмарк для внешних разработчиков. Можно присылать реальные рабочие задачи из продакшена и обсуждать методы оценки. Идея в том, чтобы тестовые наборы обновлялись и отражали реальные сценарии использования LLM в Android-разработке. Если у вас есть кейс, где LLM генерирует boilerplate-код или дебажит стектрейсы — это релевантный вклад.

Практические выводы

1. Зайдите в таблицу результатов Android Bench и посмотрите, как ваша текущая модель справляется с Android-специфичными задачами.

2. Оцените не только accuracy, но и стоимость. Harbor теперь даёт эту метрику.

3. Если вы используете LLM для генерации кода, тестов или документации — проверьте, есть ли ваш кейс в наборе тестов. Можно повлиять на методологию.

4. Не привязывайтесь к одной модели. Рынок движется быстро, лидерство меняется.

В общем, если ваш CI/CD ещё не прогнан через новый бенчмарк — самое время это исправить. Бэкапы, как обычно, никто не отменял.