rag-quality

npx skills add majiayu000/claude-skill-registry --skill rag-quality-backup-dir --agent claude-code

Same command for any agent — swap --agent for codex, cursor, copilot.

# RAG Quality Evaluation Skill RAG 시스템의 품질을 평가하고 개선하기 위한 포괄적인 스킬입니다. ## 핵심 기능 ### 1. RAGAS 기반 자동 평가 ```python from src.rag.domain.evaluation import RAGQualityEvaluator from src.rag.infrastructure.storage import EvaluationStore # 평가기 초기화 evaluator = RAGQualityEvaluator(judge_model="gpt-4o") store = EvaluationStore() # 단일 턴 평가 result = evaluator.evaluate_single_turn( query="휴학 절차가 어떻게 되나요?", contexts=["학칙 제15조에 따르면..."], answer="학칙 제15조에 따라 휴학 신청은..." ) # 결과 저장 및 분석 store.save_evaluation(result) print(f"전체 점수: {result.overall_score:.2f}") print(f"합격 여부: {result.passed}") ``` ### 2. 사용자 페르소나 테스트 ```python from src.rag.domain.evaluation.personas import PersonaManager persona_mgr = PersonaManager() # 특정 페르소나로 테스트 freshman_queries = persona_mgr.generate_queries( persona="freshman", count=10, topic="휴학" ) # 모든 페르소나로 통합 테스트 all_queries = persona_mgr.generate_all_personas_queries( queries_per_persona=5 ) ``` ### 3. 합성 테스트 데이터 생성 ```python from src.rag.domain.evaluation.synthetic_data import SyntheticDataGenerator from src.rag.infrastructure.json_loader import JSONDocumentLoader loader = JSONDocumentLoader("data/output/규정집.json") generator = SyntheticDataGenerator(loader) # 문서에서 질문 자동 생성 que

uv run python -c "
from src.rag.domain.evaluation import RAGQualityEvaluator
from src.rag.domain.evaluation.personas import PersonaManager
from src.rag.infrastructure.storage import EvaluationStore
evaluator = RAGQualityEvaluator()
store = EvaluationStore()
persona_mgr = PersonaManager()
for persona_id in persona_mgr.list_personas():
queries = persona_mgr.generate_queries(persona_id, count=5)
for query in queries: