plan-mode-official-leaderboard-abctest
公式リーダーボード準拠のA/B/Cテストを実行するPlanモードスキル。Phi-3.5-mini-instruct、Borea-phi3.5-instinct-jp、AEGIS-Phi3.5mini-jpv2.4を標準化ベンチマークで比較評価し、統計的有意性を検証。
npx skills add majiayu000/claude-skill-registry --skill plan-mode-official-leaderboard-abctest-zapabob-so8t --agent claude-code
Same command for any agent — swap --agent for codex, cursor, copilot.
Weekly change comes from our own snapshots, not the repository page — it measures attention, not adoption.
# Planモード公式リーダーボード準拠A/B/Cテストスキル SO8Tプロジェクト専用に設計された公式リーダーボード準拠のA/B/Cテスト実行Planモード。Phi-3.5-mini-instruct、Borea-phi3.5-instinct-jp、AEGIS-Phi3.5mini-jp v2.4の3モデルをGSM8K/MATH/ARC-Challengeで標準化評価し、統計的有意性を検証します。 ## 🚀 主要機能 ### 1. 公式準拠ベンチマーク評価 - **GSM8K**: 8-shot CoT (Phi-3.5公式: 86.2%) - **MATH**: 0-shot CoT (Phi-3.5公式: 48.5%) - **ARC-Challenge**: 10-shot (Phi-3.5公式: 84.6%) - **プロトコル厳守**: 公式評価ハーネス使用 ### 2. 統計的有意性検証 - **t-test**: モデル間差の統計的有意性検定 - **効果サイズ**: Cohen's dによる効果の大きさ評価 - **信頼区間**: 95%信頼区間での結果提示 - **多重比較補正**: Bonferroni法等による調整 ### 3. A/B/Cテスト実行管理 - **並行評価**: 3モデル同時評価で効率化 - **クロスバリデーション**: 安定性確保のための複数回実行 - **エラーハンドリング**: 評価失敗時の自動リカバリー - **結果集約**: 包括的な比較レポート生成 ### 4. SO8T統合最適化 - **Enhanced Moonshot統合**: 既存ワークフローとの連携 - **チェックポイント管理**: 長時間評価の中断復旧 - **リソース最適化**: GPU使用の効率的最適化 - **レポート自動生成**: 論文レベルの比較分析 ## 📋 使用例 ### 公式準拠A/B/Cテスト実行 ```python from skills.plan_mode_official_leaderboard_abctest import OfficialABCTestPlan # 3モデル公式準拠比較テスト abc_test = OfficialABCTestPlan() test_config = { "models": { "Phi-3.5-mini-instruct": "microsoft/Phi-3.5-mini-instruct", "Borea-phi3.5-instinct-jp": "path/to/borea/model", "AEGIS-Phi3.5mini-jp-v2.4": "your-username/AEGIS-Phi3.5mini-jp" }, "benchmarks": ["gsm8k",
- 🚀 主要機能
- 1. 公式準拠ベンチマーク評価
- 2. 統計的有意性検証
- 3. A/B/Cテスト実行管理
- 4. SO8T統合最適化
- 📋 使用例
- 公式準拠A/B/Cテスト実行
- 統計的検証付き評価
- 結果可視化とレポート生成
- 🏗️ テスト実行ワークフロー
- フェーズ1: 環境準備と検証
- フェーズ2: 並行評価実行
- フェーズ3: 統計分析と検証
- フェーズ4: 結果統合とレポート
python scripts/plan_mode_official_abctest.py \ python scripts/analyze_abctest_results.py \ python scripts/visualize_abctest_comparison.py \
What does the plan-mode-official-leaderboard-abctest skill do?
公式リーダーボード準拠のA/B/Cテストを実行するPlanモードスキル。Phi-3.5-mini-instruct、Borea-phi3.5-instinct-jp、AEGIS-Phi3.5mini-jpv2.4を標準化ベンチマークで比較評価し、統計的有意性を検証。
How do I install it?
Run `npx skills add majiayu000/claude-skill-registry --skill plan-mode-official-leaderboard-abctest-zapabob-so8t --agent claude-code` — it drops the skill into your project so the agent can pick it up. Swap the --agent value for codex, cursor or copilot if you use one of those.
Where does this skill come from?
From majiayu000/claude-skill-registry, a repository with 534 stars. We read it straight from the repository tree rather than a submitted listing, so what you see here is what is actually published.
Is a popular skill a good skill?
Not necessarily. Stars measure attention, not adoption — a repository can trend for a week and be abandoned. That is why we show the weekly change from our own snapshots next to the total, instead of a single flattering number.