Отчёты
Полные интерактивные отчёты: лидерборд, расход токенов, скорость, тепловые карты по сегментам и разбор каждой задачи с комментариями судьи.
181 задача · 22 модели
Текстовый бенчмарк
Рассуждение, код, RAG, агентские сценарии, отраслевые задачи РФ: налоги, юр. комплаенс, корпфинансы, данные и логистика.
1 место
GPT-5.6 Sol (medium)9.03
303 задачи · 18 моделей
Компьютерное зрение
OCR, таблицы, графики и дашборды, схемы и чертежи, подсчёт объектов, дефектоскопия, охрана труда, карты, интерфейсы.
1 место
Kimi K2.69.01
Текст · топ-8
Взвешенный балл 0–10, нормированный по категориям
| # | Модель | Балл |
|---|---|---|
| 1 | GPT-5.6 Sol (medium) | 9.04 |
| 2 | GPT-5.6 Sol (low) | 8.87 |
| 3 | GPT-5.5 (medium) | 8.85 |
| 4 | GPT-5.6 Luna (high) | 8.84 |
| 5 | GPT-5.6 Terra (high) | 8.77 |
| 6 | GPT-5.5 (low) | 8.76 |
| 7 | GPT-5.6 Terra (medium) | 8.74 |
| 8 | GPT-5.6 Terra (low) | 8.62 |
Зрение · топ-8
Взвешенный балл 0–10, нормированный по способностям
| # | Модель | Балл |
|---|---|---|
| 1 | Kimi K2.6 | 9.01 |
| 2 | GPT-5.6 Sol (medium) | 8.99 |
| 3 | GPT-5.5 (medium) | 8.95 |
| 4 | GPT-5.6 Sol (low) | 8.94 |
| 5 | GPT-5.5 (low) | 8.89 |
| 6 | GPT-5.6 Terra (medium) | 8.86 |
| 7 | Qwen3.6-35B-A3B-FP8 | 8.84 |
| 8 | Qwen3.6-27B-FP8 | 8.77 |
Только открытые веса
Модели, которые можно развернуть у себя, без топовых проприетарных GPT-5.5 / GPT-5.6. Полные списки; балл и метод те же.
Текст
12 моделей с открытыми весами
| # | Модель | Размер | Балл |
|---|---|---|---|
| 1 | DeepSeek v4-flash-0731 | 284B / 13B | 8.56 |
| 2 | DeepSeek v4-pro | 1.6T / 49B | 8.49 |
| 3 | MiniMax-M3 | 428B / 23B | 8.39 |
| 4 | Kimi K2.6 | 1T / 32B | 8.33 |
| 5 | DeepSeek v4-flash (до 0731) | 284B / 13B | 8.19 |
| 6 | Qwen3.6-27B-FP8 | 27B | 8.16 |
| 7 | Gemma-4-31B | 31B | 8.00 |
| 8 | Qwen3.6-35B-A3B-FP8 | 35B / 3B | 7.85 |
| 9 | gpt-oss-120b | 120B / 5B | 7.34 |
| 10 | DiffusionGemma | 26B / 4B | 6.08 |
| 11 | Nemotron-3-Nano-Omni-30B | 30B / 3B | 4.57 |
| 12 | Nemotron-3-Super-120B | 120B / 12B | 4.36 |
Зрение
8 моделей с открытыми весами
| # | Модель | Размер | Балл |
|---|---|---|---|
| 1 | Kimi K2.6 | 1T / 32B | 9.01 |
| 2 | Qwen3.6-35B-A3B-FP8 | 35B / 3B | 8.84 |
| 3 | Qwen3.6-27B-FP8 | 27B | 8.77 |
| 4 | Gemma-4-31B | 31B | 8.46 |
| 5 | DiffusionGemma | 26B / 4B | 8.20 |
| 6 | MiniMax-M3 | 428B / 23B | 8.10 |
| 7 | Llama-4-Scout-17B | 109B / 17B | 7.53 |
| 8 | Nemotron-3-Nano-Omni-30B | 30B / 3B | 6.80 |
Размер — всего параметров; для MoE-моделей «всего / активных на токен».
Как читать. Судья — Claude Opus, единым методом для всех моделей: один агент на задачу
видит эталон и ответы всех участников сразу. Разница меньше 0.15 балла — шум, а не превосходство.
Задачи и эталоны открыты, поэтому со временем они попадут в обучающие выборки —
датируйте выводы. Подробности методологии и оговорки —
в README.