1. 启动实验

本篇文档将实验的的使用流程进行介绍,包括实验的基本概念,创建流程,运行控制以及调试。

1.1. 基本概念

实验

科学研究中,在设定的条件下,用来检验某种假设,或者验证或质疑某种已经存在的理论而进行的操作。在HubbleData中,实验特指某一次希望改进的功能或者新的设计。

实验版本

一次实验中,针对某一实验目的设计的实验方案,可以是不同的产品内容,产品流程或者产品设计。需要说明的是,某一次实验可以用多个实验版本对应不同的实验方案。 实验版本对应科学实验中的实验组,原始版本对应科学实验中对照组。

实验变量

指实验中由实验者所操纵的因素或条件。在HubbleData中,实验变量特指用来控制不同实验版本的变量。变量可以对应不同颜色,不同内容甚至不同页面。

实验流量

HubbleData中,由实验设计者所选择的进入实验的用户数量,一般是选择流量比例。HubbleData会根据用户的选择动态调整实验流量。

实验分层

实验分层可以认为流量的复用或者用户的复制:处在同一分层时,实验之间不会互相干扰;处在不同分层时,实验流量可以多次使用。

1. 实验处在同一分层时,同一用户只会进入其中一个实验中。
2. 实验处在不同的分层时不受此约束,同一用户可能会进入两个或多个实验中。

1.2. 创建实验的工作流程

确定需要实验内容,并且内部达成一致

在这一步你需要完成三个事情:

  1. 完成实验的内部需求评审
  2. 需要明确优化指标与计算逻辑
  3. 确定技术方案

在HubbleData实验填写实验信息

在这一步你需要完成三个重要事情:

  1. 选择实验进行应用平台,我们目前支持JS、iOS、Android、JAVA
  2. 选择实验类型,不同实验类型对应不同的场景与技术实现难度,
  3. 确定优化指标

实验调试

此处流程建立在内部已经完成实验版本开发的基础之上,实验调试主要提供功能如下:

  1. 提前观察各个版本的实验内容差异,预览实验效果
  2. 提前确认埋点数据是否正确,参数是否全面准确

运行控制

调试完成情况,你需要在运行控制模块配置好实验流量,并且开启实验。需要特别说明:已经关闭的实验,不允许重新打开。但你可以创建一个新实验,并且眼沿用原有变量与变量值。此时实验仍然可以正常启用。

results matching ""

    No results matching ""