m-classification-01 — Multi-label intent классификация банковского обращения
▸Промпт задачи
Ты — система маршрутизации обращений в контакт-центр крупного российского банка. Проанализируй входящее сообщение клиента и определи ВСЕ применимые intent-метки из закрытого списка. Сообщение может содержать несколько намерений одновременно — нужно вернуть multi-label разметку.
ЗАКРЫТЫЙ СПИСОК ИНТЕНТОВ (выбирать только из них):
1. card_block — блокировка/перевыпуск карты
2. card_limits — изменение лимитов по карте
3. transfer_dispute — оспаривание операции/чарджбэк
4. credit_application — заявка на кредит/ипотеку/рассрочку
5. credit_restructure — реструктуризация/каникулы по действующему кредиту
6. deposit_open — открытие вклада/накопительного счёта
7. deposit_close — досрочное закрытие вклада
8. mobile_app_issue — технические проблемы с мобильным приложением/интернет-банком
9. fraud_report — сообщение о мошенничестве/фишинге
10. account_statement — запрос выписки/справки о доходах/для визы
11. tariff_change — смена тарифного плана/пакета услуг
12. complaint_service — жалоба на качество обслуживания
13. branch_appointment — запись в отделение
14. fx_operation — валютные операции/обмен валют
15. other — не относится ни к одной категории
ВХОДЯЩЕЕ СООБЩЕНИЕ КЛИЕНТА (чат в приложении, 17:42):
"Здравствуйте! Помогите, пожалуйста, ситуация очень неприятная. Сегодня в 14:20 пришла смска о покупке на 47 890 рублей в каком-то магазине 'TechZone Online', я ничего такого не покупал, был на работе. Карту срочно заблокируйте, дебетовую Mir Supreme **4477. И операцию эту хочу оспорить, мне ничего не приходило, никаких кодов подтверждения. Кстати, я уже три дня не могу войти в приложение — пишет 'ошибка сессии 0x80042', переустанавливал, не помогает. Скиньте, пожалуйста, ещё справку 2-НДФЛ за прошлый год — нужна для подачи на ипотеку, кстати, заодно хотел бы рассчитать ипотеку на 8 миллионов на квартиру в Подмосковье, дайте знать какие сейчас ставки и что нужно из документов. И вот ещё — мою жалобу на оператора Марию из отделения на Тверской от 12 марта вы вообще рассмотрели? Прошло полтора месяца, никто не перезванивает, это просто безобразие. Жду оперативного ответа."
ФОРМАТ ОТВЕТА (строго JSON):
{
"intents": ["intent_1", "intent_2", ...],
"primary_intent": "intent_name",
"urgency": "low|medium|high|critical",
"justification": "<краткое обоснование, 2-3 предложения>"
}
primary_intent — то, что требует немедленной реакции. urgency — общая срочность кейса.
| Модель | C | F | Ru | Σ | Комментарий судьи |
|---|---|---|---|---|---|
| openai/gpt-oss-120b | 10 | 10 | 9 | 9.7 | Все 7 корректных меток без ложных срабатываний, primary_intent=card_block, urgency=critical. Чистый JSON без обёрток. |
| deepseek-v4-pro | 10 | 10 | 9 | 9.7 | Полная и точная разметка, верные primary_intent и urgency, обоснование связывает приоритет с риском потерь. Чистый валидный JSON. |
| GPT-5.5 (low) | 10 | 10 | 9 | 9.7 | Точная полная разметка, верные primary_intent и urgency, чистый JSON. Обоснование корректно перечисляет все запросы. |
| GPT-5.6 Luna (high) | 10 | 10 | 9 | 9.7 | Полная точная разметка, primary_intent=card_block, urgency=critical, чистый JSON. Обоснование покрывает все интенты. |
| GPT-5.6 Sol (low) | 10 | 10 | 9 | 9.7 | Все 7 меток без лишних, верные primary_intent и urgency, строгий JSON. |
| GPT-5.6 Sol (med) | 10 | 10 | 9 | 9.7 | Точная полная multi-label разметка и корректный приоритет; чистый JSON и грамотное обоснование. |
| GPT-5.6 Terra (high) | 10 | 10 | 9 | 9.7 | Полная безошибочная разметка, верный primary_intent и critical, обоснование явно перечисляет все шесть побочных интентов. Строгий JSON. |
| GPT-5.6 Terra (med) | 10 | 10 | 9 | 9.7 | Полная точная разметка, корректные primary_intent и urgency, чистый JSON с адекватным обоснованием. |
| diffusion-gemma | 10 | 8 | 9 | 9.5 | Все 7 меток и верный primary_intent, но обоснование поверхностное — прочие интенты не объяснены. Markdown-фенс вместо чистого JSON. |
| Qwen3.6-27B-FP8 | 10 | 7 | 9 | 9.4 | Полная разметка без false positives и развёрнутое обоснование приоритета и срочности. Формат подпорчен ведущими пустыми строками и markdown-фенсом. |
| deepseek-v4-flash-0731 | 9 | 10 | 10 | 9.4 | Найдены все шесть обязательных интентов плюс обоснованный fraud_report (несанкционированная операция без кодов подтверждения), primary_intent и urgency определены верно. Чистый валидный JSON без обёрток, корректный русский; обоснование точное, но чуть более поверхностное, чем у лучших ответов. |
| deepseek-v4-flash (до 0731) | 9 | 8 | 9 | 8.9 | Полный набор меток и верный primary, но urgency=high занижен для активного мошенничества. Ответ обёрнут в markdown-фенс вопреки требованию строгого JSON. |
| MiniMax-M3 | 9 | 8 | 8 | 8.6 | Полный и точный набор из 7 интентов без ложных срабатываний, urgency=critical корректна; primary_intent=fraud_report допустим, хотя немедленного действия требует именно блокировка карты. JSON обёрнут в markdown-фенсы (требовался строго JSON), в обосновании есть грамматическая шероховатость ('мошенничества скомпрометированной карты'). |
| GPT-5.6 Luna (low) | 8 | 10 | 9 | 8.5 | Метки полные, но primary_intent=fraud_report вместо блокировки карты как немедленного действия. Формат корректен. |
| GPT-5.6 Luna (med) | 8 | 10 | 9 | 8.5 | Полный набор меток при спорном primary_intent=fraud_report вместо card_block. Обоснование краткое, но валидное. |
| GPT-5.6 Terra (low) | 8 | 10 | 9 | 8.5 | Все метки на месте, но primary_intent=fraud_report вместо требующей немедленной реакции блокировки карты. JSON валиден. |
| gemma-4-31b | 8 | 8 | 9 | 8.3 | Набор меток полный, но primary_intent=fraud_report вместо требующей немедленного действия блокировки карты. Ответ в markdown-фенсе. |
| Nemotron-3-Super-120B | 8 | 9 | 8 | 8.1 | Полный набор меток, но primary_intent=fraud_report вместо card_block, требующей немедленного действия. Формулировка «незаконная транзакция» неточна для банковского контекста. |
| Kimi K2.6 | 7 | 9 | 10 | 8.1 | Пропущен fraud_report, что снижает recall, хотя остальные метки и primary верны. Отличный русский и связное обоснование приоритета. |
| GPT-5.5 (medium) | 7 | 10 | 9 | 7.9 | Пропущен fraud_report, хотя в обосновании прямо упомянута несанкционированная операция — несогласованность разметки и рассуждения. Формат безупречен. |
| Nemotron-3-Nano-Omni-30B | 7 | 9 | 9 | 7.8 | Отсутствует метка fraud_report при явном признаке мошенничества. JSON валиден, но с лишним ведущим переводом строки. |
| Qwen3.6-35B-A3B-FP8 | 7 | 7 | 9 | 7.6 | Пропущен fraud_report — потеря recall при явном сообщении о несанкционированной операции. Лишние переводы строк и markdown-фенс вместо строгого JSON. |
Эталон: 7 меток (card_block, transfer_dispute, fraud_report, mobile_app_issue, account_statement, credit_application, complaint_service), primary_intent=card_block, urgency=critical. Основные расхождения — пропуск fraud_report (35b-a3b, gpt-5.5-medium, nemotron-omni, kimi-k2.6), выбор fraud_report как primary и markdown-обёртки вокруг JSON.