ai-output-validation

npx skills add majiayu000/claude-skill-registry --skill ai-output-validation-youngger9765-career-ios-backend-2 --agent claude-code

Same command for any agent — swap --agent for codex, cursor, copilot.

# AI Output Validation - AI 輸出驗證 **Purpose**: 確保所有 AI 生成的欄位都有完整的驗證機制 **Lesson Learned**: 2026-01-08 三個截斷 Bug - Quick Feedback: `max_tokens=50` 太小，回傳 1-3 字 - Report: 硬截斷 `[:15]` 切斷句子中間 - Deep Analyze: 缺少 display_text/quick_suggestion 驗證 --- ## 核心原則 ### ❌ 錯誤做法 ```python # 硬截斷 - 會切斷句子 result["text"] = ai_response[:15] # max_tokens 太小 - AI 會截斷 response = await llm.generate(max_tokens=50) # 中文需要更多 tokens # 沒有驗證 - 不知道是否完整 return {"message": ai_response} ``` ### ✅ 正確做法 ```python # 1. 定義限制（基於 prompt 或資料範圍） MAX_CHARS = 15 MIN_CHARS = 7 # 2. 用 prompt 控制長度（讓 AI 自己處理） prompt = "請用 15 字以內回應..." # 3. 加大 max_tokens（避免 AI 被迫截斷） response = await llm.generate(max_tokens=500) # 4. 驗證並 fallback if len(text) < MIN_CHARS: logger.warning(f"Too short: {text}") text = FALLBACK_MESSAGE # 5. Log warning（不要硬截斷） if len(text) > MAX_CHARS: logger.warning(f"Over limit: {len(text)} chars") ``` --- ## 檢查清單 ### 每個 AI 生成欄位必須檢查： ``` □ 1. 定義 min_chars - 太短時 fallback 根據欄位用途決定最小字數 例：鼓勵文 7 字、建議 5 字 □ 2. 定義 max_chars - 超過時 log warning 根據 prompt 要求或 UI 限制 例：同心圓 15 字、display 20 字 □ 3. max_tokens 足夠大 - 避免 AI 被迫截斷 中文建議 500+（每字約 1-3 tokens） 檢查 finish_reason != MAX_TOKENS □ 4. 有 fallback 機制 - 太短或失敗時使用 預設訊息列表 random.choice(FALLBA

grep -rn "generate_text\|chat_completion\|_call_gemini" app/services/
grep -rn "max_tokens" app/services/
grep -rn "\[:.*\]" app/services/ | grep -v ".pyc"
grep -rn "min_chars\|max_chars\|MIN_\|MAX_" app/services/