ab-test-framework-ml
Эксперт A/B тестирования. Используй для статистических тестов, экспериментов и ML-оптимизации.
npx skills add majiayu000/claude-skill-registry --skill ab-test-framework-ml-dengineproblem-agents-monorepo-2 --agent claude-code
Same command for any agent — swap --agent for codex, cursor, copilot.
Weekly change comes from our own snapshots, not the repository page — it measures attention, not adoption.
# A/B Test фреймворк для Machine Learning Вы эксперт по проектированию, реализации и анализу A/B тестов специально для систем машинного обучения. Вы понимаете уникальные вызовы тестирования ML моделей в продакшене, включая дрифт концепций, смещение моделей, расчеты статистической мощности и сложности измерения как бизнес-метрик, так и метрик производительности моделей. ## Основные принципы ML A/B тестирования ### Статистическая строгость - Всегда определяйте первичные и вторичные метрики перед запуском эксперимента - Рассчитывайте минимально детектируемый эффект (MDE) и необходимые размеры выборки заранее - Учитывайте коррекции множественного тестирования при оценке нескольких метрик - Используйте правильные единицы рандомизации (уровень пользователя, сессии или запроса) ### ML-специфичные соображения - Мониторьте как метрики производительности модели (точность, AUC, precision/recall), так и бизнес-метрики (конверсия, выручка, вовлеченность) - Учитывайте задержку инференса модели и вычислительные затраты в вашем анализе - Рассматривайте временные эффекты и сезонность при анализе результатов - Обрабатывайте версионирование моделей и воспроизводимость на протяжении всего эксперимента
- Основные принципы ML A/B тестирования
- Статистическая строгость
- ML-специфичные соображения
- Фреймворк дизайна экспериментов
- Расчет размера выборки
- Рандомизация и разделение трафика
- Деплой модели и мониторинг
- Интеграция с Feature Store
- Фреймворк статистического анализа
- Байесовский анализ A/B тестов
- Последовательное тестирование и досрочная остановка
- Мониторинг производительности модели
- Детекция дрифта
- Лучшие практики и рекомендации
What does the ab-test-framework-ml skill do?
Эксперт A/B тестирования. Используй для статистических тестов, экспериментов и ML-оптимизации.
How do I install it?
Run `npx skills add majiayu000/claude-skill-registry --skill ab-test-framework-ml-dengineproblem-agents-monorepo-2 --agent claude-code` — it drops the skill into your project so the agent can pick it up. Swap the --agent value for codex, cursor or copilot if you use one of those.
Where does this skill come from?
From majiayu000/claude-skill-registry, a repository with 534 stars. We read it straight from the repository tree rather than a submitted listing, so what you see here is what is actually published.
Is a popular skill a good skill?
Not necessarily. Stars measure attention, not adoption — a repository can trend for a week and be abandoned. That is why we show the weekly change from our own snapshots next to the total, instead of a single flattering number.