1. 多链接实验

本节将会介绍完整的多链接实验创建流程,包括填写实验信息,确定实验变量,接入SDK以及使用实验变量路径:实验管理--新增实验。多链接实验的主要适用场景如下:

  1. 市场同事对不同广告落地页进行测试,此时市场同事仅需要提供两个落地页的不同链接,Hubble将会对不同链接进行随机分配;
  2. 运营同事对不同内容页进行测试,尤其是H5活动页,此时运营同事仅需要提供两个不同活动页面,Hubble将会对不同落地页进行随机分配。

1.1. 基本流程

本节将会以一个实例来对整个实验流程进行描述,请按照以下环节进行实验的创建与控制。 AB测试流程图

1.1.1. 基本信息

基本信息
Figure: 基本信息
  1. 填入实验名称,为了方便大家理解,推荐实验名称跟实验内容保持一致。例如针对某一次活动的落地页提供不同的设计方案,名称可以设为不同活动落地页效果测试
  2. 实验类型选择,HubbleData支持三种实验类型选择,分别是编程实验,可视化实验以及多链接实验。本节将主要介绍多链接实验的创建流程以及一些注意事项。
  3. 选择实验运行的应用平台,应用的创建以及管理请在HubbleData的分析平台上管理。多连接实验目前仅支持网页或者H5页面的引用。
  4. 实验分层可以认为流量的复用:

    1. 同一分层的实验流量相加为百分之百,同一时段用户仅会参与指定分层的一个实验。
    2. 不同分层之间实验流量互不干扰,同一时段用户可能会参与两个或多个实验。(实验处于不同分层)
    如果想要尽可能放大实验流量,可以选择在新的分层中进行实验。
    请在实验之前确认,不同分层的实验之间不会互相影响。
    
  5. 请认真填写实验备注信息,实验备注应包含以下内容:
    1. 实验内容,新设计的逻辑以及实验逻辑跟原有方案的区别,新的特点等等;
    2. 实验目的以及预期,新的设计方案希望实现的效果以及优化指标。

1.1.2. 实验版本

实验版本
Figure: 实验版本
  1. 输入本次跳转的原链接作为原版本,请注意输入完整的URL地址(格式如:https://)。输入备选的网页链接作为实验版本。**请注意填写顺序,将对外投放的URL填入原版本的链接**
  2. 确定希望优化的数据指标,请提前沟通好希望优化的数据指标。优化指标仍然使用HubbleData的事件模型,选择对应事件的聚合度量。例如提交订单的用户数,以及转化率。
    1. 选择优化指标的事件
      1. 暂时仅支持HubbleData中已经上线或者提前定义好的的埋点事件;
      2. 如果产品还没有上线,但是仍然希望将这个事件作为优化指标。你可以在行为分析的埋点管理功能预先声明事件,我们会在后续的计算中自动做事件的匹配。
      3. 选择事件所在的应用终端,HubbleData效果评估模块支持跨应用进行分析。典型场景如不同版本在后端控制,但是埋点处于客户端。此时你需要在在优化指标应用选择处,选择多个客户端应用。
    2. 选择这个事件的聚合度量,HubbleData暂时仅支持以下三种度量:
      1. 事件的触发次数,例如案例中的点击单图的触发次数。选择点击单图的触发次数时,HubbleData将会自动计算点击单图的触发次数,点击单图的人均触发次数,点击单图的人均触发次数变化率;
      2. 事件的触发用户数,例如案例中的点击单图的触发用户数。选择点击单图的触发用户数,HubbleData将会自动计算点击单图的触发用户数,点击单图的转化率,点击单图的转化率的变化率;
      3. 事件的数值型属性的总值,例如支付订单事件有个金额属性是数值型,那么优化指标可以选择支付订单的金额总值。HubbleData将会自动计算总值,人均值以及人均值的变化率。
      4. 优化指标特别说明:
         1. 人均触发次数=该事件的触发次数/该事件的触发用户数,分母并非实验参与人数
         2. 转化率=该事件的的触发用户数/参与实验的触发用户数
         2. 人均值=数值型指标的加总/事件的触发用数,分母并非实验参与人数
        
1. 实际操作中建议仅设定一个优化指标作为优化指标,以免指标过多干扰结果的评估。
2. 优化指标支持筛选条件,但是请谨慎使用,筛选条件的不当使用有可能会跟实验流量冲突。例如Web端实验中,如果筛选条件限定为macos,实验流量中必然有一部分windows用户无法触发这个事件,这时候人均优化指标的计算会偏小。
备注

HubbleData对于链接的处理规则如下,请根据实际情况选择:

  1. 在多链接实验中,HubbleData碰到原版本的链接会将部分流量随机分配到不同的实验版链接(具体跳转比例根据你在运行控制中选择版本比例进行调节),实际使用过程中请将对外投放的链接设为原版本的链接。
  2. 多链接实验支持两种链接格式,分别为精准匹配方式以及模糊匹配方式,具体规则如下:
    1. 如果你在原版本的链接处填写的URL含有参数(#或者?),HubbleData将会采用精准匹配方式,即仅会对当前URL进行分流。例如原版本链接为:https://www.kaola.com/activity/detail/22690.shtml?XXXXX,当用户碰到https://www.kaola.com/activity/detail/22690.shtml,HubbleData将不会进行跳转。
    2. 如果你在原版本的链接处填写的URL中不含参数(#或者?),HubbleData将会采用模糊匹配方式,即HubbleData将会忽略URL后边的参数。例如原版本链接填为https://www.kaola.com/activity/detail/22690.shtml,HubbleData将会忽略链接后边的参数。如果用户碰到https://www.kaola.com/activity/detail/22690.shtml?XXXXX或者https://www.kaola.com/activity/detail/22690.shtmlHubbleData都会进行分流。

1.1.3. 实验变量集成

  1. 请先集成JS SDK,详细使用说明请参考文档,示例如下:
 DATracker.init('xxxxx', {
             abtest: {
                      enable_abtest: true
                } 
                        }
               );

results matching ""

    No results matching ""