Разобрать многоходовый диалог сервисного бота

Кому пригодится

AI QA и разработчикам поддержки.

Требования и ограничения

Для какой задачи подходит

Найти, на каком ходе диалога AI-поддержка потеряла контекст или начала действовать неверно.

Что передать агенту

Полная хронология MLflow-сессии, трассы ходов, ожидаемое поведение и схема контекста.

Как устроена работа

1. Восстановить полную хронологию диалога и проверить полноту данных.
2. Различить оценки отдельных ответов и всей сессии.
3. Проследить, как менялись контекст, память, найденные сведения и действия агента.
4. Указать первый подтверждённый дефект и подготовить проверку всей последовательности разговора.

Какой результат получится

Карта ходов, первая причина отклонения, потерянный контекст и регрессионный сценарий.

Что учтено в адаптации

STATUS_CODE_UNSET не помечается ошибкой; неизвестные статусы показываются отдельно.

Скрипты обрабатывают JSON в памяти и не оставляют сырые данные клиента в проекте; jq не требуется.

Для выгрузки сессии нужен корректный MLflow filter; значение session ID экранируется, пустой результат не превращается в trace null.

Условия применения

MLflow CLI и Python 3 нужны для включённых live-read helpers; анализ возможен по заранее полученным JSON. Экспорт не отправляется наружу.

Автор и источник

Оригинальное название: analyzing-mlflow-session
Автор или репозиторий: mlflow/skills
Лицензия: Apache-2.0
Открыть первоисточник ↗