1. 产品入门

1.1. 什么是A/B测试?

A/B 测试,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用 A 方案,另一部分用户使用 B 方案,记录下用户的使用情况,根据不同方案的结果数据(例如:下单)来确定方案的优劣。AB测试如下图设计: AB测试示意图

1.2. A/B测试有哪些场景可以使用?

  1. 市场同事不同的落地页设计以及推广方案设计
  2. 运营活动测试不同运营流程或者文案测试
  3. 策划,交互,视觉等产品用户,主要场景有:
    1. 新功能上线,例如社交产品上线点赞之前,做产品的灰度发布
    2. 产品UI测试,经典如“立即注册”与“免费注册”
  4. 产品后台算法测试,例如电商场景中测试不同算法对支付订单的影响。

1.3. A/B测试支持哪些应用类型?

  • Web、App等前端实验
  • JAVA等服务端实验

    1.4. A/B测试该怎么实施?

    A/B测试流程
    Figure: A/B测试流程
  • 实验之前请跟团队的分析师和开发做好沟通,包括实验的内容,预期实现效果与评价指标。

  • 实验过程中,实时关注实验数据并且做好数据的分析与解读。推荐实验周期在一个星期以上,并且避开节假日等特殊日期。
  • 实验结束后,做好实验效果的评估与分析,选择最优实验版本上线。

1.5. 产品功能如下:

HubbleData的A/B测试平台
Figure: HubbleData的A/B测试平台
  1. 蓝色模块属于HubbleData提供的产品服务,主要包括:
    1. 效果评估模块
    2. 运行控制
    3. 调试工具
    4. 可视化实验
  2. 其他模块需要产品方开发参与
  3. HubbleData通过SDK的方式实现与产品方App或者Web互动

1.6. 问题答疑

接入A/B测试平台的成本如何,我该怎么接入?

我们平台提供开放的通用接口,产品方的成本主要体现在不同版本的开发上。同时我们对于部分场景,我们产品支持在线可视化编辑,用户仅需要接入SDK并且开始实验即可。

行为分析跟A/B测试之间的有什么关系?

行为分析跟A/B测试都是我们增长工具的一部分,两个产品共用SDK,存储与计算模块,用户仅需要接入一次即可。

results matching ""

    No results matching ""