先别急着否定假设。试验后指标没有变化,最常见的两种解释是:改动根本没有生效,或者改动生效了但影响被其他因素抵消。区分这两者,需要找到独立于结果指标的“实施证据”,而不是继续盯着排名或流量曲线。
这两种情况的后续动作完全不同。如果是没实施,你需要修部署流程;如果是实施了但没效果,你需要修假设。把两者混在一起,就会陷入反复改假设却始终没碰真问题的循环。
一个可操作的判断顺序是:先证明改动已经存在于用户或爬虫实际接收到的版本里,再讨论它是否产生了预期影响。顺序反了,后面的分析都建立在不确定的前提上。
实施证据必须满足一个条件:它来自改动之外的独立观测,而不是你对自己操作的回忆。以下几类证据可以交叉使用。
这几类证据里,只要有一项明确显示改动不在线上,就应该先停下效果分析。若全部显示改动已上线,才轮到讨论影响被抵消的可能。
假设某页面把首屏标题从 A 改为 B,预期点击率上升。上线一周后点击率几乎不变。此时先抓取线上版本,若返回的仍是 A,说明改动没进到实际响应,可能是模板缓存或发布分支不对。修好发布后重新观测,若点击率仍不变,才需要考虑标题本身吸引力不足,或同一时期有其他改动同时上线。
这个例子的关键不在数字,而在顺序:先确认 B 真的出现在用户拿到的页面里,再判断 B 有没有用。
即使改动确实上线,以下情况也会让结果看起来“没变化”。
需要注意,某项指标归零或某项请求量下降,并不能单独证明改动被正确执行,它也可能是采集口径调整、抓取策略变化或统计延迟造成的。把这类现象当作实施证据之前,先确认它与其他证据是否一致。
如果实施证据显示改动没上线,下一步是修发布链路,而不是换假设。如果实施证据齐全但结果仍无变化,下一步是回到假设本身,检查预期影响的方向和量级是否合理。两种路径的输入不同,产出的结论也不同。把实施确认做成每次试验的固定前置步骤,可以避免在错误前提上反复消耗分析时间。