1. 运行控制
运行控制用来对实验状态与实验流量进行调整与控制。本节将会对运行控制的使用流程进行详细介绍。主要内容包括实验定向的使用与使用流量的调节。
已经关闭的实验不允许重新启用,此时如果你想再次尝试一下,你可以选择重新创建一个实验,并且沿用原来变量与变量值,实验内容依然生效。已经结束的实验请及时关闭
1.1. 实验流量分配
- 控制实验状态,包括实验的开启与关闭。为了保证实验的科学性,已经关闭的实验不支持重新开启。
- 调整实验流量,包括实验总体流量与各个版本的实验流量比例。
- 实验流量总体与各个版本的实验流量比例;
- 调整实验流量,包括总体流量与各个版本的流量比例。请注意以下几点:
- 实验流量的上限为所在分层的剩余流量,例如,该分层中已经有40%的流量被占有,那么该实验最大可以使用60%的流量;
- 实验流量调节的最小比例为千分之一(即0.1%)
- 流量调整完成之后,本次更改将会立刻生效。
- 重置之后流量回到上次保存的比例。
特别说明:流量分配针对未来活跃用户进行分配,所以仅提供比例调节。流量分配需要用户提前选定一部分流量作为实验流量,然后在所选实验流量中选择某一部分用户进入参照组,剩余流量不会参与实验。
1. 为了保证实验的科学性,不推荐实验过程中经常调整流量; 2. 原则上各个版本之间实验比例没有要求,但是为了实验之间流量均匀, 推荐各个版本的实验流量相等; 3. 实验应该尽量避开重大的节日,如双十一,并且推荐实验运行一周以上以覆盖工作日以及周末时间。
1.2. 实验定向
实验定向主要用在灰度发布,或者精细化运营的特定场景。同时广告投放的情况下也需要做用户定向。本节将对这些内容做详细介绍。
1.2.1. 实验定向支持的条件
- 用户属性,此处用户属性指的是用户通过调用SDK中的
people.set
接口上传的用户属性 - 通过行为分析中用户分群设定的的用户群
- SDK自动采集的设备信息,例如操作系统,浏览器,渠道,版本等。4. 特别说明当前版本设备定向尚不支持客户端。
1.2.2. 使用流程如下
实验一旦开始定向条件不允许改变,具体操作流程如下。
1.3. 问题解答
HubbleData的流量会按照什么方式进行分配?
- 我们的分流并非基于历史用户,而是通过算法实时对用户进行分流。举例如
userId=300013002
的用户访问网站时,Hubble后台将会进行判断:- 用户是否进入实验;
- 如果用户进入实验,进一步判断用户进入哪一个实验版本。
- 我们分流服务采用随机算法,后台会保证实验版本之间的用户比例近似满足前期设置的流量比例。
原版本与实验版本的比例应该怎么分配?
- A/B测试中原版本对应科学实验中的对照组,一般对应原始设计方案;
- 我们目前的设计需要用户提前配置对照组流量比例,如果用户没有配置后续将无法实现效果评估。
结束实验是否会影响线上业务?
- 实验结束之后所有流量将会释放,用户自动进入原版本所对应的产品设计;
- 如果想上线某一个版本你需要将该版本流量调整为100%。