先别急着否定假设。未发生预期变化时,更常见的原因是试验根本没按计划生效,而不是“优化无用”。要区分这两种解释,关键是找到一条独立于结果指标的部署证据链:请求是否真的走了新路径、新资源是否真的被返回、执行是否真的发生在目标页面。
第一种解释是试验确实实施了,但效果被其他因素抵消。第二种解释是试验没有真正落地,比如配置未发布、缓存未失效、规则只匹配了部分路径、脚本在目标页面被拦截。两者都会表现为“数据没动”,但后续动作完全不同:前者要重新审视假设,后者要修复实施。
判断顺序应当反过来:先排除实施问题,再讨论效果问题。因为如果试验没生效,任何关于效果的推断都不成立。
最直接的证据不是报表,而是实际请求。用浏览器开发者工具的 Network 面板或命令行请求工具,请求一个应当命中试验的页面,观察三件事:
如果响应里仍是旧版本,说明请求层没有进入试验分支。此时结果指标不变是合理的,不能作为效果证据。
假设某页面要测试新的资源加载方式,预期是首屏渲染更快。上线一周后,性能指标与之前几乎一致。此时可以这样做:
这个例子里,第二步的结果决定下一步:若新资源被引用但未执行,问题在触发条件;若根本未被引用,问题在发布或缓存。两种情况都不需要先怀疑假设本身。
站内统计、搜索引擎报告和第三方估算的采集方式、归因窗口和过滤规则不同,同一现象在不同来源里可能呈现不同幅度。因此,用第三方估算的“没变化”去否定站内试验,或者反过来,都不够可靠。
更稳妥的做法是:以能直接观察请求与响应的证据为主,报表只作为辅助。如果报表显示无变化,但请求证据显示新版本已生效,那么要检查的是指标定义和归因口径,而不是实施本身。
为了避免每次都在结果上打转,可以把实施核查做成固定步骤:
当请求证据与结果指标一致时,才能进入效果判断;当两者矛盾时,优先处理实施与口径问题。这样,未发生预期变化就不再是一个笼统的结论,而是一个可以继续追查的起点。