1. 产品入门
1.1. 什么是A/B测试?
A/B 测试,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用 A 方案,另一部分用户使用 B 方案,记录下用户的使用情况,根据不同方案的结果数据(例如:下单)来确定方案的优劣。AB测试如下图设计:
1.2. A/B测试有哪些场景可以使用?
- 市场同事不同的落地页设计以及推广方案设计
- 运营活动测试不同运营流程或者文案测试
- 策划,交互,视觉等产品用户,主要场景有:
- 新功能上线,例如社交产品上线点赞之前,做产品的灰度发布
- 产品UI测试,经典如“立即注册”与“免费注册”
- 产品后台算法测试,例如电商场景中测试不同算法对支付订单的影响。
1.3. A/B测试支持哪些应用类型?
- Web、App等前端实验
JAVA等服务端实验
1.4. A/B测试该怎么实施?
实验之前请跟团队的分析师和开发做好沟通,包括实验的内容,预期实现效果与评价指标。
- 实验过程中,实时关注实验数据并且做好数据的分析与解读。推荐实验周期在一个星期以上,并且避开节假日等特殊日期。
- 实验结束后,做好实验效果的评估与分析,选择最优实验版本上线。
1.5. 产品功能如下:
- 蓝色模块属于HubbleData提供的产品服务,主要包括:
- 效果评估模块
- 运行控制
- 调试工具
- 可视化实验
- 其他模块需要产品方开发参与
- HubbleData通过SDK的方式实现与产品方App或者Web互动
1.6. 问题答疑
接入A/B测试平台的成本如何,我该怎么接入?
我们平台提供开放的通用接口,产品方的成本主要体现在不同版本的开发上。同时我们对于部分场景,我们产品支持在线可视化编辑,用户仅需要接入SDK并且开始实验即可。
行为分析跟A/B测试之间的有什么关系?
行为分析跟A/B测试都是我们增长工具的一部分,两个产品共用SDK,存储与计算模块,用户仅需要接入一次即可。