产品指标诊断器

中文简介

产品指标诊断器：在转化、留存、激活、漏斗、收入或异常波动出现时，先确认数据是否可比，再把变化拆成可验证的事实、假设和行动。它不把截图、相关性或发布时间相邻直接写成根因。

使用背景

当团队需要决定应先修数据、排查发布、做进一步分析、运行实验，还是暂不行动时使用。产出服务于下一步可验证的决策，不替代原始数据访问、统计审查或因果实验。

核心原则

• 先验证口径、完整性、新鲜度和可比性，再解释业务变化；数据检查未通过时暂停归因。
• 将观察事实、计算结果、关联、假设、因果主张和未知项分开书写。
• 同时报绝对量与相对量：转化率必须附分子、分母、百分点变化和相对变化；分母或流量结构变化本身可能制造总指标变化。
• 先在同一口径、时间粒度和可比日历下比较，再做分群、漏斗、变点和发布关联；总量不能覆盖异质分群或辛普森悖论风险。
• 相关性只生成候选假设。只有明确对照、反事实设计和混杂控制支持时，才可提升为受限的因果结论。

适用场景

• 注册、激活、转化、留存、收入、使用频次或漏斗环节出现异常，需要建立排查顺序。
• 发布、价格、投放、渠道结构、性能事故或外部事件前后，团队需要判断哪些变化值得验证。
• 已有时间序列、事件数据、分群字段、漏斗定义或发布日志，需要把分析请求转成查询与决策问题。

不适用场景

• 只需描述性报表、固定口径的日常监控或财务审计；使用相应的数据仓库、BI 或财务流程。
• 没有任何可定位的数据、指标定义或截图来源，却要求给出“真正原因”；只能交付待确认项和最小取数请求。
• 要求凭单一相关、发布时间相邻或个人判断直接归因、追责或承诺修复收益；应改为竞争假设和因果验证设计。

输入要求

先收集或确认以下输入；缺失项可以留空，但必须标为 [未知]：

1. 要支持的决定、负责人、截止时间和可逆/不可逆行动。
2. 指标名称、业务含义、公式、分子/分母事件、去重键、纳入/排除规则、时区、归因规则和数据截至时间。
3. 当前与基线的原始计数、比率、时间粒度、比较窗口、可比日历/季节性基线、样本量和置信或波动信息（若可用）。
4. 数据源、查询/仪表盘版本、埋点或 ETL 变更、完整性/延迟/SLA、回填、采样、过滤器和已知质量事故。
5. 可用分群、漏斗步骤、用户或会话粒度、流量/渠道构成，以及发布、实验、价格、性能和外部事件日志。

信息不足时的处理

• 只有截图：将可见读数标为 [截图读数]，将口径、分子/分母、窗口、时区、样本、数据截至时间和筛选条件标为 [未知]；不解释原因，先请求仪表盘链接、原始导出和指标元数据。
• 未知公式、去重、筛选或时区：不比较“上周”和“本周”，不输出涨跌归因；先固定口径并重跑两个窗口。
• 数据尚在延迟窗口、出现缺失/重复/回填、关键 join 改变或埋点版本切换：输出数据质量事件和恢复/重算计划，暂停业务假设排名。
• 只有总指标：可列出候选分解维度和最小查询，不能编造分群、漏斗、季节性或发布效应。
• 要求直接归因：明确相关、同时发生和时间先后均不足以证明因果；保留发布为候选解释，并要求对照、干预前趋势、暴露定义和混杂检查。

工作流

1. 写诊断卡。 固定决策、指标口径、分析单位、当前/基线窗口、数据截至时间、已知限制和不能回答的问题。
2. 设数据质量门。 检查事件覆盖、唯一键、重复、空值、join 基数、时区、延迟、回填、采样、过滤器、查询/埋点版本和数据源新鲜度；任一关键项失败时停止归因。
3. 量化可比变化。 同时报分子、分母、绝对差、百分点差、相对变化和不确定性；按相同星期、季节、活动周期及相同数据成熟度比较。
4. 定位变化。 识别变点和持续时间，检查其是否早于、同步或滞后于发布/实验/事故；时间相邻只产生候选关联。
5. 拆分分母、分群与漏斗。 将总指标按流量构成、用户/会话粒度、渠道、平台、地区、版本、生命周期和漏斗步骤分解；报告每群的分子/分母、贡献和未覆盖部分。
6. 形成竞争假设。 至少包含数据、分母/流量结构、季节性、产品/发布、性能/缺陷、价格/信息、外部因素等解释；为每项列可观察预测和反证。
7. 排验证优先级。 以决策影响、现有证据强度、可区分性、验证成本/时效和可逆性排序，不伪造概率或把“最易验证”当作“最可能”。
8. 给验证查询与行动。 为优先假设写所需字段、过滤器、分组、比较、预期支持/削弱信号和停止条件；将行动分为修数据、风险缓解、继续观察、分析验证和实验/准实验。

专业判断规则

指标口径、绝对量与分母

• 明确 指标 = 分子 / 分母、分析单位（用户、账户、会话或事件）、去重键、事件触发时间、归因窗口、纳入/排除和时区。分子和分母必须来自相同人群、同一窗口和同一成熟度；否则标为不可比。
• 同时报告 当前分子/当前分母 与 基线分子/基线分母、绝对人数差、百分点差和相对变化。例如从 42% 到 33% 是 -9 个百分点、约 -21.4% 相对变化，但仍须说明是分子减少、分母增加还是两者共同造成。
• 分母扩大、渠道混入、机器人/内部流量、资格规则变化、曝光变更、去重变化和漏斗入口迁移均可能改变总比率。先比较固定分群的比率，再解释总体；必要时报告标准化后的比较，避免混合构成掩盖方向相反的群体变化。

完整性、延迟与可比性

• 用源记录量、事件到达时间、缺失率、重复率、空值、join 匹配率、分区延迟、回填量、采样率、埋点/SQL 版本和仪表盘筛选器验证数据。记录检查时间和数据截至时间。
• 只有当当前与基线均超过相同成熟度窗口、关键检查通过且没有未解释的口径变更，才进入业务解释。当前窗口更“新”时，只比较同龄数据，或等待数据成熟。
• 对周期性指标优先比较相同星期、同一促销/节假日状态、相近季节和足够长的历史基线；活动、预算、工作日构成或产品可用性不同则不能称为自然周环比。

分群、漏斗、变点与发布关联

• 分群先由机制决定：渠道/活动用于流量结构，平台/版本用于发布或性能，地区/时区用于可用性，生命周期/套餐用于行为差异。每个结论附分群分子、分母、覆盖率和贡献，不以小样本群的比率替代总判断。
• 漏斗逐步对齐入口资格和时间窗，检查从哪一环开始变化、是否由上一环分母迁移造成，以及同一用户是否重复进入。留存要固定 cohort、观察期和回访定义。
• 变点须报告发现方法、日期/粒度、置信限制和持续时间。发布日志要包含实际暴露开始、覆盖比例、平台/版本、回滚和相关配置；仅在变点与暴露范围一致时提升其验证优先级，仍不能视为因果证明。

假设、查询与因果边界

• 假设表区分 [观察]、[关联]、[假设]、[因果待证] 和 [未知]。每项写机制、支持预测、削弱预测、混杂因素、验证方法、负责人和截止时间。
• 查询应从固定口径的可复现基表开始，明确事件时间、用户键、分群字段、漏斗资格、排除条件和当前/基线窗口。输出必须能同时检查分子、分母、比率、数据新鲜度和分群贡献；字段未知时提供查询规格，不编造表名或结果。
• 相关性、时间先后、A/B 分群不均衡或发布同日发生都不足以断言因果。需要因果结论时，优先随机实验；不可行时说明对照组、处理定义、干预前趋势、并行变化、选择偏差、混杂控制、稳健性检查和剩余限制。无法满足时只报告关联并建议观察或实验。

输出契约

输出按 references/templates.md，至少包含：

1. 诊断卡：决策、指标口径、时间窗、数据截至时间、输入范围和 [未知]。
2. 数据质量门：完整性、延迟、版本、可比性检查，以及通过/暂停结论。
3. 变化账本：当前/基线分子、分母、绝对差、百分点差、相对变化、季节性比较和不确定性。
4. 分群、漏斗、变点与发布关联：每项都含覆盖范围、贡献、反例和不能断言的内容。
5. 排序后的竞争假设：观察、机制、支持/削弱信号、混杂因素、优先级和验证截止时间。
6. 验证查询规格与行动：字段、过滤器、分组、比较、预期结果、停止条件、负责人和决策边界。

质量门槛

• 不交付没有公式、分子、分母、分析单位、时间窗、时区和数据截至时间的指标结论。
• 不交付只写“下降 15%”而不说明绝对量、百分点/相对变化和分母变化的报告。
• 不交付在关键完整性、延迟、版本、回填或口径检查未通过时的业务归因。
• 不交付没有可比日历/季节性说明、分群覆盖、漏斗资格或变点范围的总体解释。
• 不将发布相邻、相关性或单一分群差异称为根因；因果结论必须写明对照、反事实假设和剩余混杂。
• 交付前阅读 references/checklists.md；需要最小输入和暂停条件时读取 references/usage-guide.zh.md，需要表格与三种压力场景时读取 references/templates.md 和 references/examples.md。

常见失败与修正

失败	修正
将 42% 到 33%写成“下降 15%”	写成 -9 个百分点 与约 -21.4% 相对变化，并给出两期分子/分母与绝对人数。
当前小时数据与完整的上周数据比较	先按相同数据成熟度比较，或等待延迟窗口结束；同时检查回填和分区新鲜度。
总转化下降就认定新用户体验变差	先拆渠道/平台/版本/生命周期的分子、分母和构成，检查固定分群与漏斗步骤。
变点在发布日附近就宣布发布是根因	核实暴露时间、覆盖比例、版本范围、回滚和并行变化；用对照或实验验证。
截图显示曲线下跌就编造原因	仅记录截图可见读数和未知口径，请求原始导出、指标定义、筛选和数据截至时间。
相关性很强就直接归因	将其降为候选关联，列混杂因素、反证和因果验证设计；无法验证时不作因果声明。

参考资料

• references/usage-guide.zh.md：最小输入包、执行顺序、暂停条件和交付解读。
• references/templates.md：诊断卡、质量门、变化账本、分群/漏斗和假设/查询模板。
• references/checklists.md：口径、完整性、可比性、分解、因果和交付检查。
• references/examples.md：完整异常、只有截图和直接归因请求的合格处理示例。