AB测试——流程介绍（定义问题和指标选取）

前言： 作为AB测试的学习记录，本文主要介绍了AB测试的基本流程，以及指标类型和如何选取合适指标。
相关文章：AB测试——原理介绍

AB测试的基本流程是什么？

AB测试（也称为分流测试）是一种常用的实验设计方法，用于比较两种或多种不同的设计或策略，以确定哪种方案更有效。下面是AB测试的一般流程：

1. 定义研究问题：确定要测试的问题或假设，并将其转化为可量化的指标。
2. 设计测试方案：制定测试方案，包括定义测试组和对照组，确定样本量和测试时长等关键因素。
3. 实施测试方案：实施测试方案，包括在测试组和对照组中分别应用不同的方案，并记录结果数据。
4. 数据分析：统计分析收集的数据，比较测试组和对照组的差异，并确定哪种方案更有效。
5. 结果解释和应用：根据数据分析结果，解释测试结果，并应用于实际业务中。
6. 优化改进：根据测试结果和应用效果，进行优化改进，并持续跟踪测试方案的效果。

需要注意的是，AB测试的有效性取决于样本量和测试时长的设计，必须确保样本量足够大，测试时长足够长，才能保证测试结果的可信度和稳定性。此外，测试方案需要避免影响测试结果的偏差和干扰，例如排除不相关因素的影响。

---

1. 定义研究问题（Problem Statment）

首先，需要明确业务场景的背景现状，和产品经理沟通需要验证的方案是什么，目的是什么。

比如，我们先在需要上线一个新的APP的UI界面，目的为了吸引用户购买，提高用户的成交量。

• 变量/变体：一个新的UI界面
• 实验对象：APP用户
• 目的：提高成交量

通过对问题的分析和理解，实验设计者需要将一个商业问题转换成一个可量化、可通过实验验证的数学问题。

---

2. 选取指标 （Metrics Selection）

确定好实验的背景和目的，接下来就需要确认需要追踪和验证的数据指标。

2.1 指标的两种分类

对于指标，我们可以有两种分类方法。

按计算方式区分：

第一种按计算方式区分：

• 绝对值指标 ： 单一的数值，比如利润总额、销售量、用户在线时间等。
• 相对值指标 ：两个有联系的现象数值相比得到的比率。例如用户转化率、ROI等。

按业务特性区分：

第二种是根据各类指标在业务中的分工特性区分：

• 成功指标(Primary/Core/Success Metrics):

  • 最核心的度量指标，决定新功能是否有价值、实验是否成功的度量。
  • 比如：如果新的UI界面是为了提高用户的体验，那么用户在线时长、日活可以作为关键指标；如果是新的产品推送策略，为了提高销售和利润，那么利润就是最关键的核心指标

• 跟踪指标（Secondary/Tracking metrics）:

  • 跟踪指标不能直接测量新功能是否有效， 但是能帮助监测新功能是如何影响目标指标。 如果目标指标有异动，跟踪指标可以帮忙分析新功能是如何导致目标指标发生变化的。
  • 比如在新界面上线后，
    • 第一种情况： 用户购买量下降了，同时用户的浏览量和在线时长都减少了。UI界面设计不合理，令用户的使用体验变差，提前关闭APP，导致了购买下降。
    • 第二种情况：用户购买量下降了，但是用户的浏览量和在线时长都提高了。新的UI设计让用户更愿意花时间浏览APP。因为浏览时间拉长，用户发现了很多喜欢的商品，但是由于选择过多，反而让用户更难下定决心购买。

• 护栏指标(guardrial metric):

  • 护栏指标，是用来限制新设计带来的负面影响。
  • 在这个UI界面的例子中，我们希望用户购买量能够上升，但同时不希望新的功能会影响日活量，如果新功能对日活量有一定的负面影响。那么表明有部分的用户不喜欢新的页面设计，这时我们就需要否决掉这个方案。
  • 再举个广告投放的栗子：
    • 许多APP都会使用不同的广告投放策略，在用户使用时推送广告。因为企业希望通过广告增加利润收入，所以广告投放策略的核心指标一般是广告盈利。
    • 广告太多，或者广告质量不佳，就会直接导致用户在线时长、活跃度下降。若没有及时控制，可能会最终导致用户流失。 所以用户的在线时间、或者日活是需要监控的护栏指标。

2.2 如何找到合适的指标

AB测试的指标选择应该基于业务目标和测试假设，需要选择与目标直接相关、易于测量和可靠的指标，以确保测试的有效性和准确性。

选择指标的原则

下面是总结的一些基本原则：

• 关注核心业务指标：应优先考虑关键业务指标，如转化率、收入、利润等。这些指标与业务目标直接相关，能够直接反映实验效果。
• 考虑上下游指标：除了核心业务指标，还需要考虑与之相关的上下游指标。如用户满意度、页面停留时间、页面访问量等，以便全面了解实验效果。
• 易于测量：选择易于测量的指标可以降低测试成本和复杂度。
• 可靠性：需要选择可靠性高的指标，避免测量误差和偏差对测试结果的影响。
• 敏感性：需要选择敏感性高的指标，能够反映出实验效果的变化。
• 及时性：需要在短期内可以测量的指标，因为实验时长有限，我们要确保选择的指标可以在实验周期内测量完成。
• 可解释 ：对于指标的变化，我们需要找出并且解释变化的原因和影响因素。

利用用户旅程图找到合适的指标

**用户旅程图（Customer Journey Map）**是一个描述用户在使用产品或服务过程中所经历的各个阶段和关键转折点的图表。

使用用户旅程图可以帮助我们更好地理解用户需求和行为，定位AB实验所处的用户旅程阶段，进而确定核心指标以及关键转折点（上下游指标）。

根据指标的分析结果，可以确定测试的优化方向，如优化页面设计、提高页面加载速度、调整价格策略等。

参考资料：
https://zhuanlan.zhihu.com/p/374586706
https://zhuanlan.zhihu.com/p/34084243