1. 实验评估

本篇文档对实验评估的使用流程进行介绍,包括实验评估的基本概念,实验评估的使用流程。

1.1. 基本概念与数据指标

优化指标

用来衡量实验效果的数据度量,优化指标跟实验设计初衷相关,是期望通过实验提高的数据度量。优化指标,典型如:提交订单的金额,支付的转化率。

UV

去重用户数,实际计算中会在所选时间段内去重。AB测试中一般跟实验版本对应,用以表示某个实验版本中参与用户数。

事件的触发次数

某一个事件的触发次数,事件发生的次数加总不做去重。

事件的人均触发次数

事件的触发次数/UV,用来衡量实验中平均每个用户触发这个事件的次数。

事件的触发用户数

触发某一事件的去重用户数

事件的转化率

事件触发的用户数/UV,用来衡量试验中有多少用户完成了特定行为的转化。

变化率

优化指标(版本x-原版本)/原版本,用来评估新方案相对原方案的数据提升或者降低。例如:不同实验方案对订单提交的影响差异。

1.2. 实验评估

HubbleData实验评估从两个角度对实验数据进行解读:

  • 汇总数据:对所选时间段整体数据进行分析,得出整体结论
  • 明细数据:对所选时间段按天展示数据,并对数据结论进行分析

results matching ""

    No results matching ""