H7入门

A/A 测试概念

20 分钟一次

格式:理解为什么 A/A 测试(两组相同的测试)是必要的。

概念:在做 A/B 测试前,先做 A/A 测试——两组用户看到完全相同的版本。如果 A/A 测试也显示"显著差异",说明你的测试基础设施有问题。

练习:想想以下情况,判断是真实差异还是统计噪音:

  1. 按钮颜色改变后,转化率从 2.0% 变成 2.3%——显著吗?
  2. 样本量只有100个用户的测试结果——可信吗?
  3. 一个测试运行了2天就得出结论——合理吗?

我的笔记