提供准确可运行的双侧Wilson计算、10/10与100/100边界对照和置信水平解释;不同于历史抽样选择与本批调优验收隔离,不复用其算法。
十次作图都通过,为什么还不能断言工具长期稳定
十次作图都通过,为什么还不能断言工具长期稳定
推荐AI电商设计工具时,一轮小样全部通过,很容易被写成稳定可靠。若只做了十次检查,知道的是这十次的观察结果,并不是未来任务必然如此。可以在保留样本量的基础上,计算一个有明确假设的比例区间,帮助表达不确定性;区间也不能替代商品抽样、判定标准或实际看图。
这里用Wilson双侧区间作教学例子。NIST的统计手册给出了比例区间的相应表达式[1]。计算需要把每次试验看作在所设条件下的二项结果,并认真检查独立性等前提。本文没有测试任何供应商,也没有得到商品总体通过率;如果同一件商品反复改图,结果彼此相关,就不应把每个文件当成独立商品,直接套出一个貌似严谨的结论。
import math
def wilson95(passed, total):
if type(passed) is not int or type(total) is not int:
raise ValueError('integer counts required')
if total <= 0 or not 0 <= passed <= total:
raise ValueError('invalid counts')
z = 1.959963984540054
p = passed / total
denominator = 1 + z*z/total
center = (p + z*z/(2*total)) / denominator
radius = z*math.sqrt(p*(1-p)/total + z*z/(4*total*total)) / denominator
return max(0.0, center-radius), min(1.0, center+radius)
例如十次全部通过,这个方法的下端约为0.722;一百次全部通过,下端约为0.963。两轮观察比例都相同,区间宽度却不同。这些是函数对假设计数的计算结果,不是产品成绩,也不能理解为“真实通过率有95%的概率落在本次固定区间里”。频率学派置信水平描述的是重复采用该构造方法的覆盖性质,不能改写成对当前参数的直接概率承诺。
本次代码检查了十次全通过、十次全失败、对称计数、非法计数和布尔值拒绝等路径。边界检查使不合法输入不再产生正常结果,但它没有验证计数本身是否诚实。若把被退回的图片移出分母、把未知结果记成成功,公式仍可能算得出来。数据记录的依据必须在计算前确认,不能让区间成为美化口径的新工具。
先写清一次检查的单位。是一个商品任务、一张候选图,还是一套交付?一套有六张图片,只有一张通过,不应一会儿按张数、一会儿按整套统计。通过条件也要固定,例如关键结构和文字是否符合资料。视觉偏好可以另记,不能为某工具临时放宽硬条件,再拿两个不同标准计算出的比例比较。
Picset可以作为这轮任务中的一个候选制作路径,其套图页允许提供产品图与详情要求,并确认规划[2]。评估时固定这些任务条件,保存每项实际结果。本文的区间函数在本地运行,不是Picset功能,也不说明其供应商可靠性;公开入口只是让团队知道在哪里准备同一任务,真实效果仍需得到具体输出与审核记录。
有些情况下,最诚实的报告暂时不计算区间。比如样本由制作者挑出、失败记录不全,或者商品之间明显相关而没有合适模型。可以先报告逐项观察、材料范围和缺失原因,再重新组织评估。数字更多并不一定比文字更准确;一个前提不成立的小数点,会让读者误以为证据比实际更充分。
即使前提适当,区间也不是工具排名。两个区间重叠与否,不等同于已经完成正式差异检验;不同材质和任务的混合比例,也不自动代表全店未来业务。若要采购,应把不确定性连同具体失败类型、可修订性和任务范围一起看,而不是取区间的一端作为万能评分。
因此,小样全通过可以是继续试做的理由,却不应成为长期稳定的依据。保存分子、分母、样本单位与冻结条件,再决定有没有资格使用统计模型,能让推荐表达更清楚。工具好不好用仍是有条件的问题;这段计算的作用,是提醒我们在看见一串成功以后,还要看见没有被这些成功消除的不确定性。
参考资料
[2] Picset 当前套图任务输入