1. 编程实验

本节将会介绍完整的实验创建流程,包括填写实验信息,确定实验变量,接入SDK以及使用实验变量。 路径:实验管理--新增实验

1.1. 基本流程

本节将会以一个实例来对整个实验流程进行描述,请按照以下环节进行实验的创建与控制。 AB测试流程图

1.1.1. 基本信息

  1. 填入实验名称,为了方便大家理解,推荐实验名称跟实验内容保持一致。例如针对注册按钮的设计不同的实验方案时,最好以“注册按钮颜色测试”作为名称。
  2. 实验类型选择,HubbleData支持三种实验类型选择,分别是编程实验,可视化实验以及多链接实验。本节将主要介绍编程实验的创建流程以及注意事项。
  3. 选择实验运行的应用平台,应用的创建以及管理请在HubbleData的分析平台上管理。
  4. 实验多个分层可以认为流量的多次复用:

    1. 同一分层的实验流量相加为百分之百,同一时段用户仅会参与指定分层的一个实验。
    2. 不同分层的实验流量互不干扰,同一时段用户可能会参与两个或多个实验。(实验处于不同分层)

      如果想要尽可能放大实验流量,可以选择在新建一个实验分层。请在实验之前确认,
      不同分层的实验之间不会互相影响。
      
  5. 请认真填写实验备注信息,实验备注信息包括以下内容:
    1. 实验内容,新设计的逻辑以及实验逻辑跟原有方案的区别,新的特点等等;
    2. 实验目的以及预期,新的设计方案希望实现的效果以及优化指标。

1.1.2. 实验版本

  1. 输入本次实验的实验变量,请跟负责开发的同事协商之后填入有实际意义的变量。例如案例中需要测试按钮颜色,所以设为bColor。
    1. 实验变量需要集成在应用中,所以变量名称只能含有英文字母,数字以及下划线,且下划线不能作为第一个字母;
    2. 实验中可以选择已经存在的实验变量,从而进行实验变量的复用。例如将文案内容作为应用的输入变量,如果可以通过后台控制该变量的输入,那么这个实验变量可以多次使用。为了实验的科学性,相同的实验变量只能在同一层实验中使用。
  2. 跟据实验方案创建实验版本,并且输入对应的变量值。一般将未做任何更改的设计方案作为原始版本,这个版本将作为新方案的基准
    1. 输入实验对应的实验名称,例如案例中将新的设计方案命名为蓝底白字;
    2. 输入实验变量对应的值,例如案例中将新的方案变量值定义为white;
    3. 输入该版本对应的黑白名单注意如果用户同时作为黑白名单,黑名单优先
      1. 当进入黑名单时,指定用户将不会进入该版本;
      2. 当进入白名单时,指定用户将会看到这个版本;
  3. 确定希望优化的数据指标,请提前沟通好希望优化的数据指标。优化指标仍然使用HubbleData的事件模型,选择对应事件的聚合度量。例如提交订单的用户数,以及转化率。
    1. 选择优化指标的事件
      1. 暂时仅支持HubbleData中已经上线或者提前定义好的的埋点事件;
      2. 如果产品还没有上线,但是仍然希望将这个事件作为优化指标。你可以在行为分析的埋点管理功能预先声明事件,我们会在后续的计算中自动做事件的匹配。
      3. 选择事件所在的应用终端,HubbleData效果评估模块支持跨应用进行分析。典型场景如不同版本在后端控制,但是埋点处于客户端。此时你需要在在优化指标应用选择处,选择多个客户端应用。
    2. 选择这个事件的聚合度量,HubbleData暂时仅支持以下三种度量:
      1. 事件的触发次数,例如案例中的点击单图的触发次数。选择点击单图的触发次数时,HubbleData将会自动计算点击单图的触发次数,点击单图的人均触发次数,点击单图的人均触发次数变化率;
      2. 事件的触发用户数,例如案例中的点击单图的触发用户数。选择点击单图的触发用户数,HubbleData将会自动计算点击单图的触发用户数,点击单图的转化率,点击单图的转化率的变化率;
      3. 事件的数值型属性的总值,例如支付订单事件有个金额属性是数值型,那么优化指标可以选择支付订单的金额总值。HubbleData将会自动计算总值,人均值以及人均值的变化率。
      4. 优化指标特别说明:
         1. 人均触发次数=该事件的触发次数/该事件的触发用户数,分母并非实验参与人数
         2. 转化率=该事件的的触发用户数/参与实验的触发用户数
         2. 人均值=数值型指标的加总/事件的触发用数,分母并非实验参与人数
        
1. 实际操作中建议仅设定一个优化指标作为优化指标,以免指标过多干扰结果的评估。
2. 优化指标支持筛选条件,但是请谨慎使用,筛选条件的不当使用有可能会跟实验流量冲突。例如Web端实验中,如果筛选条件限定为macos,实验流量中必然有一部分windows用户无法触发这个事件,这时候人均优化指标的计算会偏小。

1.1.3. 实验变量集成

  1. 请先集成JS SDK,详细使用说明请参考文档,示例如下:
    DATracker.init('xxxxx', {
         abtest: {
             enable_abtest: true
         } 
     });
    
  2. 在控制实验版本的代码处集成变量请务必与开发确认实验变量以及对应的变量值,并且做好调试工作。变量的集成与调试请参考SDK开发文档。详细使用请参考JS文档,示例如下:
    DATracker.init('xxxxx', {
         abtest: {
             enable_abtest: false
         } 
     })
    

results matching ""

    No results matching ""