Согласовать оценки качества клиентского сервиса
Найти, почему проверяющие расходятся в оценках диалогов, и уточнить правила на конкретных примерах.
Одна и та же выборка диалогов, действующая карта QA, независимые оценки проверяющих и признаки критических ошибок.
Карта расхождений, уточнения критериев, примеры оценивания и план повторной проверки.
Кому пригодится
Руководителям поддержки, QA-специалистам и командам, внедряющим AI-оценку.
Требования и ограничения
Когда нужна калибровка
Если два руководителя или человек и AI выставляют одному разговору разные оценки, проблема может находиться в критериях и доступных данных. Скилл выясняет источник расхождения и помогает договориться о наблюдаемых признаках качества, сохраняя первоначальные независимые оценки.
Как сопоставляются оценки
Для каждой пары проверяются одинаковая версия диалога, карты QA и сведения о результате. Совпадение считается по критериям с указанием количества сравнимых случаев. Критические ошибки, пропуски данных и расстояния между баллами разбираются отдельно, чтобы высокий общий процент не скрывал существенные расхождения.
Что меняется после разбора
Результат — карта расхождений, уточнённые границы шкалы и примеры их применения. Для оценщиков выбирается конкретная тема обучения. Повторный проход проводится на новых или отложенных диалогах: совпадение после коллективного обсуждения не выдаётся за независимую проверку.
Пример применения
Один проверяющий снижает балл за незавершённый возврат, другой оценивает только ясность ответа. Скилл покажет смешение результата операции и качества текста, предложит разделить критерии и проверить, какие события доступны обоим оценщикам.
Границы измерения
Небольшая диагностическая выборка помогает найти неоднозначность, но не доказывает надёжность оценки на всём потоке. Если используется коэффициент согласия, скилл учитывает его ограничения и не подставляет универсальный проходной порог. Большинство голосов не заменяет доказательство факта.
Автор и источник
Оригинальное название: service-qa-calibration
Автор или репозиторий: Skillum.AI
Лицензия: MIT
Авторская разработка Skillum.AI. Полный текст и лицензия входят в комплект.