plan-mode-arc-gsm8k-improvement
AEGISモデルのARC-Challenge評価改善とGSM8K健全性チェックのためのPlanモード。タイムアウト率・抽出失敗率分析、頑健な回答抽出、データ汚染検査、複数seed評価を実行。
npx skills add majiayu000/claude-skill-registry --skill plan-mode-arc-gsm8k-improvement-zapabob-so8t --agent claude-code
Same command for any agent — swap --agent for codex, cursor, copilot.
Weekly change comes from our own snapshots, not the repository page — it measures attention, not adoption.
# ARC/GSM8K改善Planモードスキル AEGISモデルのベンチマーク評価における問題点を特定し、改善するための包括的Planモード。ARC-Challenge 45.3%の異常に低いスコア原因をタイムアウト率・抽出失敗率分析で特定し、GSM8K 98.2%の健全性をデータ汚染検査・複数seed評価で検証します。 ## 🚀 主要機能 ### 1. ARC-Challenge評価改善 - **タイムアウト率分析**: 180秒タイムアウト発生率の定量評価 - **抽出失敗率分析**: 回答抽出ロジックの失敗パターン分析 - **回答パターン分析**: モデル応答形式の傾向分析 - **頑健な抽出実装**: 複数パターン対応の回答抽出関数 ### 2. GSM8K健全性チェック - **データ汚染検査**: 学習データとの問題文重複チェック - **複数seed評価**: 8-shot例題のローテーション評価 - **0-shot評価**: few-shot依存度の検証 - **採点ロジック検証**: 最終数値抽出の正確性確認 ### 3. 多目的評価実行 - **並行評価**: 複数条件での同時評価実行 - **統計的検証**: 結果の安定性と有意性の確認 - **比較分析**: 改善前後の性能比較 - **レポート生成**: 改善点と推奨事項の自動生成 ### 4. SO8T統合最適化 - **既存ABCテスト統合**: 公式リーダーボード準拠維持 - **チェックポイント管理**: 長時間評価の中断復旧 - **リソース最適化**: GPU使用量の効率的最適化 - **自動改善提案**: 次の学習ステップ推奨 ## 📋 使用例 ### ARC-Challenge改善Plan実行 ```python from skills.plan_mode_arc_gsm8k_improvement import ARCGSM8KImprovementPlan # ARC/GSM8K改善Planの作成 improvement_plan = ARCGSM8KImprovementPlan() config = { "target_model": "AEGIS-Phi3.5mini-jp-v2.4", "baseline_model": "Phi-3.5-mini-instruct", "analysis_focus": ["arc_timeout_analysis", "arc_extraction_analysis", "gsm8k_contamination_check"], "sample_sizes": {"arc_challenge": 500, "gsm8k": 300}, "evaluation_seeds": [42, 123, 456, 789
- 🚀 主要機能
- 1. ARC-Challenge評価改善
- 2. GSM8K健全性チェック
- 3. 多目的評価実行
- 4. SO8T統合最適化
- 📋 使用例
- ARC-Challenge改善Plan実行
- GSM8K健全性チェック実行
- 改善策提案と実行
- 🏗️ 改善ワークフロー
- ステップ1: ARC-Challenge問題特定
- ステップ2: GSM8K健全性検証
- ステップ3: 改善策実装と検証
- 🔬 詳細分析機能
python scripts/evaluation/arc_gsm8k_improvement_analyzer.py \
What does the plan-mode-arc-gsm8k-improvement skill do?
AEGISモデルのARC-Challenge評価改善とGSM8K健全性チェックのためのPlanモード。タイムアウト率・抽出失敗率分析、頑健な回答抽出、データ汚染検査、複数seed評価を実行。
How do I install it?
Run `npx skills add majiayu000/claude-skill-registry --skill plan-mode-arc-gsm8k-improvement-zapabob-so8t --agent claude-code` — it drops the skill into your project so the agent can pick it up. Swap the --agent value for codex, cursor or copilot if you use one of those.
Where does this skill come from?
From majiayu000/claude-skill-registry, a repository with 534 stars. We read it straight from the repository tree rather than a submitted listing, so what you see here is what is actually published.
Is a popular skill a good skill?
Not necessarily. Stars measure attention, not adoption — a repository can trend for a week and be abandoned. That is why we show the weekly change from our own snapshots next to the total, instead of a single flattering number.