Найти причину ошибочного ответа AI-поддержки

Кому пригодится

AI QA и разработчикам сервисных ассистентов.

Требования и ограничения

Для какой задачи подходит

Связать неверный ответ сервисного бота с retrieval, инструментом, моделью или обработкой контекста по MLflow-трассе.

Что передать агенту

MLflow trace JSON, ожидаемый результат, оценки и доступный код агента.

Как устроена работа

1. Сопоставить фактический вопрос и ответ с ожидаемым результатом.
2. Восстановить, какие источники и инструменты использовал агент.
3. Найти первый подтверждённый этап, на котором появился неверный результат.
4. Сравнить с успешным случаем и подготовить узкое исправление с повторяемой проверкой.

Какой результат получится

Причина с идентификаторами spans, подтверждёнными фактами и планом регрессионной проверки.

Что учтено в адаптации

Соседние MLflow-скиллы не обязательны: included references описывают чтение и экспорт; входом может быть файл.

Статус ERROR оценщика не означает ошибку агента; OK не доказывает правильный ответ.

Трассы могут содержать данные клиента, их нельзя автоматически отправлять во внешние сервисы.

Условия применения

Нужны MLflow traces либо экспорт и jq только для командных примеров. Этот скилл предназначен для технической диагностики, не для оценки оператора без трасс.

Автор и источник

Оригинальное название: analyzing-mlflow-trace
Автор или репозиторий: mlflow/skills
Лицензия: Apache-2.0
Открыть первоисточник ↗