cjc-experiments

npx skills add brycewang-stanford/Awesome-Journal-Skills --skill cjc-experiments --agent claude-code

Same command for any agent — swap --agent for codex, cursor, copilot.

# 《计算机学报》实验设计与呈现 《计算机学报》(Chinese Journal of Computers, CJC) 要求来稿"数据充分、真实"，外审专家会实质性追问 实验是否足以支撑结论。作为 CCF A 类综合性中文长文期刊，CJC 给了充分篇幅展开实验，但也因此对 **证据与主张的匹配度**要求更高。本技能给出面向 CJC 的实验设计与呈现方法。核验日期 2026-07-09， 与 `cjc-reproducibility` 配套使用。 ## 一、先立评估问题，再做实验 好的实验部分从**评估问题(RQ)**开始，而非直接堆表格。为每个贡献点设一个可回答的问题，例如： - RQ1：所提方法在 <任务> 上是否优于 <代表性基线>？优多少？ - RQ2：各模块对性能的贡献如何（消融）？ - RQ3：方法在 <规模/噪声/分布变化> 下是否稳健？ - RQ4：开销（时间/内存/通信）是否可接受？ 每个 RQ 后面对应一组实验与一张主表/主图，形成"问题—证据"闭环。 ## 二、按贡献类型匹配证据 | 贡献类型 | 关键证据 | 常见陷阱 | |---|---|---| | 算法/方法 | 与强基线的公平对比 + 消融 + 复杂度 | 只比弱基线、无消融 | | 系统/体系结构 | 真实负载下的吞吐/延迟/资源，端到端 | 只报微基准、无真实工作负载 | | 理论 | 严格证明 + 必要的数值验证 | 只有定理无验证或反之 | | 实证研究 | 足量真实样本 + 可靠标注 + 统计分析 | 样本小、标注无信度 | | 学习类 | 公平划分 + 多次运行 + 污染排查 | 测试集调参、单次最优、数据泄漏 | ## 三、公平基线与设置 - **强基线**：选当前有代表性、可比的方法，而非精心挑选的弱对手；说明基线的实现/来源与调参方式。 - **同等条件**：数据、评测协议、算力对所有方法一致；不给自己方法额外调参预算。 - **超参数透明**：报告搜索范围与最终取值，避免"魔法数字"。 ## 四、数据集与指标 - 数据集选择有代表性、被同行认可者；自采数据说明采集与清洗（见 `cjc-reproducibility`）。 - 指标与任务匹配，报告能反映真实优劣的核心指标，必要时给多指标；避免只报对自己有利的单一指标。 - 明确训练/验证/测试划分，**禁止用测试集调参**。 ## 五、统计严谨性 - 对随机性敏感的结果报告**多次运行的均值±标准差**，不用单次最好值。 - 关键对比做**显著性检验**，说明检验方法、样本与显著性水平。 - 报告**效应量/提升幅度**并讨论其实际意义，而非仅"提升 0.1% 即宣称更优"。 ## 六、消融与稳健性 - **消融实验**：逐一移除/替换关键模块，量化各自贡献，支撑"每个设计都必要"的主张。 - **稳健性**