时间人手有限时,选择试验页面的标准不是“哪个页面最差”,而是“哪个页面能在最短周期内产出可验证、可复用的结论”。更具体地说,先写下你希望交付的结果——比如确认某类标题写法能否提升点击、确认补充某段说明能否改善停留——再倒推这个页面是否具备足够的数据、权限和改动空间。满足条件的页面通常具备三个特征:有一定曝光量、问题可归因到页面本身、改动不影响其他页面。反之,一个几乎没有访问的页面,即使问题明显,也验证不了任何结论。
试验页面服务于结论,而不是服务于“修好一个页面”。在动手前,用一句话写下预期交付:“如果我对某类页面做某项改动,我会在某个指标上看到可判断的变化。”这句话包含三个要素:改动对象、观测指标、判断方式。缺少任何一项,试验就会变成凭感觉改版。
举例(以下为假设场景,非真实项目):假设你怀疑产品列表页的标题过于笼统,导致搜索结果点击偏低。交付结论就是“把标题从品类词改为品类词加用途词,是否能提升该页在搜索中的点击”。此时试验页面必须是有稳定搜索曝光、标题可独立修改的列表页。如果选一个刚上线、曝光几乎为零的页面,无论标题怎么改都得不到可判断的信号。
把备选页面列出来,逐条核对。以下条件按优先级排列,前两条不满足就换页面。
把候选页面按“满足条件数”排序,取前两到三个进入下一步。数量不必多,时间和人手有限时,同时开太多试验会让归因变难。
确定候选页面后,不要立刻改。先列出完成这次试验所需的资料,缺什么补什么:
这四份资料齐了,任务清单自然就出来了:存档现状、实施改动、记录改动时间、在约定时间点取数、对照基线判断。任何一项缺失,都会让试验结果变成“改了但说不清有没有用”。
验收不是看页面“看起来更好了”,而是看结论是否成立。回看数据时,按下面顺序判断:
这一步的产出直接决定下一步:结论可迁移,就把同样的改动按优先级推广到同类页面;结论无法判断,就回到候选列表换一个满足“有量”和“可归因”的页面重做;结论明确无效,就把这条假设划掉,转向下一个假设。无论哪种结果,都比同时改十个页面却说不清哪个起作用更省时间。
现在可以做的下一步:写下你当前最想验证的一条页面假设,用“有量、可归因、可改动、不牵连”四个条件核对手上的候选页面,选出唯一一个进入试验,并把基线数据和判断标准先记录下来,再动手改。