science-consensus-report
Use when several agents or votes produced different answers and the result must be merged into one defensible statement — when running the three-vote rule, when weighting preprints against peer-review
Files1
View on GitHubSKILL.mddsh-science/skills/science/science-consensus-report/SKILL.md
GitHub共识与报告:把多份结果合成一个可辩护的结论
三票规则
- 默认
votes = 3,voteThreshold = 0.66:三票中至少两票一致才采用。 - 三票必须相互独立:不同分片、不同输入顺序、不得共享中间摘要。 同一上下文里连问三次不算三票。
- 只对结论型判断投票:纳入/排除、新颖性、审稿意见分级、字段抽取。 统计量、图表、格式转换属于确定性产物,一票即可,多票是浪费。
- 三票全不同 → 不合并、不取平均,直接按"分歧"上报。
- 两票一致但第三票给出反例证据 → 不按多数,转人工/上级裁决。
证据权重
投票之前先给证据定级,权重高的票不该被数量压过。
| 层级 | 证据 | 权重 | 说明 |
|---|---|---|---|
| E1 | 本课题的原始数据 + 可重跑运行记录 | 1.0 | 有 science_exp_run 溯源才成立 |
| E2 | 同行评议论文的正文/表格原文 | 0.8 | 需 DOI + 页码/段落定位 |
| E3 | 预印本、会议摘要、注册平台记录 | 0.5 | 必须标注"未经同行评议" |
| E4 | 数据库条目、期刊官网元数据 | 0.4 | 适合事实字段,不适合结论 |
| E5 | 二手综述、博客、厂商文档 | 0.2 | 只能作为线索,不作断言依据 |
规则:
- E3 不得单独支撑结论。只有预印本支持时,写成"目前仅见预印本报告"。
- E5 只出现在"待核实"栏,不进正文结论。
- 同一结论有 E1 与 E2 时,优先 E1,并说明与文献是否一致。
- 权重用于解释分歧,不用于算术加权投票;不要算出 0.73 这种伪精确分数。
冲突怎么升级
| 冲突类型 | 处理 | 升级到 |
|---|---|---|
| 事实字段不一致(年份、样本量) | 回查原始来源,以 E1/E2 为准 | 不升级 |
| 纳入/排除判断不一致 | 补一轮检索,确认检索式与时间窗 | survey → lead |
| 统计口径不一致 | 以预注册分析计划为准 | methodologist(可否决) |
| 设计与可证伪性冲突 | 停手,不得边跑边改 | methodologist → pi |
| 数据许可/溯源缺失 | 停手,不得使用该数据 | data-steward → pi |
| 结论方向相反且有同等证据 | 并列报告两种解释与判别实验 | lead → pi |
升级必须带四样:分歧点、双方证据 id、已尝试的核对动作、需要谁在什么时限内裁决。 缺任何一项,上级可以退回。
报告结构
一份 Campaign 报告固定五段,顺序不要改:
- 结论:三句话内。答案是什么、证据强度如何、还有什么没解决。
- 证据表:一行一条证据,字段固定。
- 分歧与裁决:哪些结论有多票不一致,怎么处理的。
- 缺口:明确没做到的部分,以及补上需要什么。
- 可复现信息:运行 id、数据版本、代码位置、环境与 seed。
证据表字段
| 字段 | 必填 | 说明 |
|---|---|---|
claim |
是 | 被支持的那句话,一句话 |
evidenceId |
是 | 库内 id / DOI / run id |
locator |
是 | 页码、段落、表号、字段名;没有定位不算证据 |
level |
是 | E1–E5 |
stance |
是 | support / contradict / mixed |
votes |
条件 | 结论型判断填 2/3,确定性产物留空 |
note |
否 | 预印本、样本限制、外部效度等 |
示例(不是模板占位,照这个颗粒度写):
| claim | evidenceId | locator | level | stance | votes |
|---|---|---|---|---|---|
| 该干预在 12 周时降低 HAMD 评分 | run-20261014-07 | outputs/metrics.json#cohen_d | E1 | support | 空 |
| 同类效应在两项 RCT 中方向一致 | 10.1000/xyz.123 | Table 2, p.7 | E2 | support | 空 |
| 该机制仅在预印本中被提出 | 10.1101/2026.03.11.1 | Abstract | E3 | mixed | 2/3 |
缺口怎么写
缺口不是"还可以做得更好",是已知未覆盖、且影响结论强度的东西。每条写四段:
缺什么 → 为什么影响结论 → 补它需要什么(数据/时间/设备) → 不补的话结论要降到什么强度
反例:"样本量偏小,建议扩大样本。" —— 没人知道要多大、为什么要、不扩会怎样。 正例:"仅 1 个中心、n=42,外部效度未验证;需要第二中心 ≥60 例;不补则结论只能 写成单中心观察,不能推广到指南推荐级别。"
缺口按严重度排序:动摇主结论 > 限制推广 > 影响表述精度 > 格式性。
三条纪律
- 不把缺失写成通过。查不到就是"未找到",不是"无此风险"。
- 不给录用概率。报告只说明证据够不够,不预测审稿结果。
- 共识不等于正确。三票一致但证据全是 E4,结论强度仍然低——在结论段写明。