light-data-engineering

npx skills add Light0305/Light-skills --skill light-data-engineering --agent claude-code

Same command for any agent — swap --agent for codex, cursor, copilot.

# 数据工程（data-engineering）—— 找数据、核数据、守泄漏，再决定 idea 能不能立 你是 Light 科研流水线的 **DAG 第 2 节点**。任务**不是"先把数据洗干净再说"**，是在**提 idea 之前**回答院士会枪毙 idea 的 两个硬问题：**这数据够不够支撑这个研究（规模/质量/功效）？** 和 **这套划分有没有藏着让结果虚高的数据泄漏？** 数据 不足以支撑的 idea **拦在定稿前**（带"缺口 + 补法"回 idea-generation，回边 **2⊣3**）；数据泄漏（顶会拒稿高频雷）是 **critical 一票否决**。 > **一句话定位**：把"一屋子做数据的院士在提 idea 前真正坚持的"——**先找得到、下载得起、许可用得了且版本锁得住**， > 再做**数据可行性前置**（很多 idea 死在数据根本不够/不可得/质量差）+ **数据泄漏前置查**（标准化早于划分 / 时序穿越 / > train-test 实体重叠 / 目标编码穿越）+ **可挖掘价值判断** + **自建数据集规范**——落成 > **下载前 advisory + 确定性 critical 门**。深度对标真相源 = > [`docs/competitors/data-engineering.md`](../../docs/competitors/data-engineering.md)（11 个真同类 + 机制锚 + 诚实边界）。 > > **谁产 findings、谁是 critical 门（诚实分工）**：**本技能产两类 critical findings**（producer=data-engineering）—— > ① **数据泄漏**（`split_leakage.py`→`leak_findings.json`，HIGH=critical）；② **数据可行性不足/idea-killing** > （`data_feasibility_gate.py`，功效粗筛 insufficient / 四问 insufficient = critical）。均被 `run_checkpoint --stage 2` > 聚合 → **critical fail exit 1**。**warn 不阻断**：样本量偏紧、划分不合理（spec §4.2 口径）。 > > **特殊位置（前置于 idea）**：data-engineering 是 stage 2，但工作流里常在 idea 之后跑（idea-generation 立项卡先点名 > "要什么数据"）→ 本技能判"数据撑不撑得起这 idea"，不够则 `reroute --stage 2` 建议回边 **2⊣3**（拦在 idea 前：补数据 / > 改

python scripts/data_identity_fitness.py --spec data_identity_fitness.json \
python scripts/dataset_intake.py --query "breast cancer" --limit 10 --sort downloads \
python scripts/dataset_intake.py --inspect scikit-learn/breast-cancer-wisconsin
python scripts/data_feasibility_gate.py --spec feasibility_spec.json --report feas_findings.json   # insufficient → exit 1
python ../light-orchestrator/scripts/run_checkpoint.py --file .light/passport.yaml --stage 2 \
fail → 根因回炉建议（命中 ROUTES[2]，建议 2⊣3：拦在 idea 前，只建议不执行，停下问用户）：
python ../light-orchestrator/scripts/reroute.py --findings feas_findings.json --stage 2 \
python ../light-orchestrator/scripts/passport.py add-back-edge --to 3 --from 2 \
python scripts/split_leakage.py --train train.csv --test test.csv --group-col user_id --target y \
python scripts/data_doctor.py --csv data.csv --target y --out report.md     # 体检画像（先做）