Датасет и его версия, пространство Arize, выбранные модели и критерии оценки.
Эксперимент с реальными прогонами и сравнение показателей и отдельных примеров с указанным охватом.
Кому пригодится
Командам, оценивающим языковые модели в Arize.
Требования и ограничения
Сравнить ответы моделей на одном наборе примеров
Скилл управляет экспериментами Arize через ax: создаёт записи прогонов, выгружает результаты и сопоставляет оценки. Эксперимент связан с версией датасета, а отдельный run — с одним примером. Такой подход позволяет разбирать не только средний показатель, но и конкретные случаи, где новая модель стала лучше или хуже.
Подготовить доступ и версию данных
Нужны настроенный профиль Arize, доступное пространство и датасет. Если эксперимент выбирается по имени, дополнительно уточняются датасет и пространство; ID снимает часть неоднозначности. Перед обработкой изучается реальная структура экспортированных примеров, чтобы выбрать поле входа. Подстановка всей записи вместо нужного вопроса может незаметно изменить задачу модели.
Получить настоящие ответы
Обычный процесс включает экспорт данных, вызов выбранной модели для каждого примера и сбор результатов. Источник прямо запрещает выдумывать ответы, задержки и оценки при недоступном API. Для запуска нужны SDK и допустимый канал учётных данных провайдера. Шаблон скрипта требует адаптации: закомментированный блок вызова модели не является готовым исполняемым экспериментом.
Сохранить связь результата с примером
Обязательны example_id и output. Дополнительно можно записать метрики с числом, меткой и объяснением, а также модель, параметры и измеренную задержку. Создание эксперимента загружает уже подготовленные runs; наличие записи в Arize не означает, что оценки возникли автоматически. Файл результатов должен соответствовать именно выбранным примерам и версии датасета.
Выгрузить всё и сопоставить по идентификаторам
В описанной версии REST-выгрузка может ограничиваться 500 прогонами; ровно такой размер предлагается считать поводом использовать полный экспорт через Arrow Flight. Ограничение среды или сети отмечается явно. При сравнении важны совпадающие example_id, распределение оценок и регрессии. Пропущенные оценки нельзя механически включать в среднее как обычные числа.
Получить сравнение с понятным охватом
Итог включает размер выборки, показатели, различающиеся примеры и ограничения. Автор упоминает 30 примеров как ориентир осторожности, но статистическая значимость зависит от разброса, эффекта и дизайна оценки, а не одного порога. Скилл также умеет удалять эксперименты; это отдельное действие. Полезный результат — воспроизводимое сравнение реальных прогонов, а не доказательство универсального превосходства модели.
Автор и источник
Оригинальное название: arize-experiment
Автор или репозиторий: github/awesome-copilot
Лицензия: MIT
Открыть первоисточник