1. 实验评估
本篇文档对实验评估的使用流程进行介绍,包括实验评估的基本概念,实验评估的使用流程。
1.1. 基本概念与数据指标
优化指标
用来衡量实验效果的数据度量,优化指标跟实验设计初衷相关,是期望通过实验提高的数据度量。优化指标,典型如:提交订单的金额,支付的转化率。
UV
去重用户数,实际计算中会在所选时间段内去重。AB测试中一般跟实验版本对应,用以表示某个实验版本中参与用户数。
事件的触发次数
某一个事件的触发次数,事件发生的次数加总不做去重。
事件的人均触发次数
事件的触发次数/UV,用来衡量实验中平均每个用户触发这个事件的次数。
事件的触发用户数
触发某一事件的去重用户数
事件的转化率
事件触发的用户数/UV,用来衡量试验中有多少用户完成了特定行为的转化。
变化率
优化指标(版本x-原版本)/原版本,用来评估新方案相对原方案的数据提升或者降低。例如:不同实验方案对订单提交的影响差异。
1.2. 实验评估
HubbleData实验评估从两个角度对实验数据进行解读:
- 汇总数据:对所选时间段整体数据进行分析,得出整体结论
- 明细数据:对所选时间段按天展示数据,并对数据结论进行分析