额度有限时,挑选样本的目标不是“覆盖尽可能多的页面”,而是用最少的查询次数,把业务上真正会改变决策的那一类页面先测出来。做法是先按页面类型分层,再从每层里挑出“最可能暴露问题”的极端样本,而不是随机抽样。如果分层后某一层只占总量很小、但历史上从没出过问题,可以暂时不测;如果某一层集中了主要流量或主要转化入口,则应优先保留。
同样一次查询,花在首页和花在一个深层筛选页上,信息量完全不同。挑选样本前先问三个问题:这个页面有没有独立流量入口;它是否承担转化或跳转的关键动作;它的模板是否和其他大量页面共用。三者中有两项为“是”,就值得优先测。
据此可以把待测页面分成三类:
这里的“退出”不是永久放弃,而是把有限的查询用在信息增量更大的地方。判断依据来自业务侧的流量分布和转化路径,而不是工具给出的某个分数。
随机抽样的前提是样本量足够大,额度有限时它反而浪费次数。更有效的做法是挑每层里最“极端”的页面:内容最长或最短的、图片最多或最少的、脚本最复杂的、层级最深的。极端样本一旦通过,中间状态大概率也没问题;极端样本出问题,你能立刻知道问题出在哪个变量上。
假设某站点有列表页、详情页、活动页三类模板,额度只够测 6 次。可以这样分配:列表页测脚本最重和分页最深各一次;详情页测图片最多和正文最短各一次;活动页测含视频和纯静态各一次。这个例子只用于说明分配方法,具体次数需按实际额度调整。测完后如果三类极端样本都正常,下一步可以不再逐页测,而是把额度转向新上线的模板;如果某一类极端样本异常,下一步应先把该模板的共性问题修掉,再考虑扩大样本。
额度充足时,可以按页面清单逐条覆盖,追求完整。额度受限时,覆盖完整已经不可能,目标要改成“用最少查询定位最大风险”。这两种状态下的取舍标准不同:
关键前提是:分层依据必须来自你自己的业务数据,而不是工具的默认分组。如果业务侧还没有可用的流量或转化数据,就先按模板结构分层,等数据积累后再修正。
判断样本是否“有信息量”,最简单的标准是:测完之后,你的下一步动作会不会因此不同。如果无论结果如何,你都打算继续测同一批页面,那这次查询就没有信息量。
实际操作中,可以给每个候选样本写一句预期:如果它正常,我就转向新模板;如果它异常,我就先修这个模板。写不出这句话的样本,先放到“退出”一列。执行一轮后,把结果和当初的预期对照:预期被验证的层可以降低优先级,预期被推翻的层要重新分层。这个动作本身会决定下一轮额度怎么花,而不是等所有页面测完再统一判断。
需要提醒的是,查询结果正常不代表页面在真实设备上体验良好,也不代表问题已经解决;它只说明在当次查询条件下没有暴露异常。把这一点记下来,可以避免把有限额度换来的结论过度外推。