设计沉思录 | A/B测试助力设计师改善产品体验

2021年1月3日 253点热度 0人点赞 0条评论

编辑导读：AB测试是产品、运营同学经常用到的工具，它能够比较不同版本用户体验的变化，收集数据并根据数据分析结果衡量更改对业务的影响，可以确保每个更改都产生正向结果，从而消除创新和迭代风险，让业务快速增长。在产品体验设计工作中，AB测试也是不可或缺的一种有效手段。本文对此进行了说明，与大家分享。

“我更倾向于A版方案，视觉风格更加统一，简单直观”
“这两个方案我感觉都可以啊，不就是文案的差异吗”
“我倾向于B，这一版引导清晰关键指标转化肯定会高”
“…”

设计师在日常工作中，始终面对着不断出现的艰难选择，两种看似都可行的设计方案常常难以抉择。面对这种情况，设计师和产品常常会通过测试来最终做出设计决策，而其中较为常用的测试利器就是A/B测试-先把两种（或者多种）方案进行小流量的测试，利用测试的数据来预估全量之后的效果。

下面，我将结合最近的AB测实践，聊聊在产品设计中A/B测试的心得体会，助力改善产品体验。

01 A/B 测试是什么

AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。①

02 A/B测试能解决哪些问题？

解决分歧。消解在设计过程中各方的分歧，最终达成方案的共识。
明确影响的因素。通过不同因素的验证，探寻影响产品转化的因素。
助力核心数据的增长。通过A/B测试，分析评估出转化最高的方案。
优化产品体验。降低新方案带来的不确定影响，助力产品体验优化。

03 设计师要如何使用A/B测试呢？

笔者通过公司内部多项AB测实践，总结了一套通用的A/B测试流程，如下图，希望下面的步骤，可以帮你通过A/B测试来提升产品体验。

明确目标-设置变量-设计方案-线上测试-分析迭代

1. 明确目标

在开始测试之前，我们一定要明确希望通过A/B测来达成什么目标。这个可以是提升页面的点击量，可以是提升订单转化，也可能是提高销售额。衡量标准通常是根据公司、产品和团队的具体目标来制定。

以招聘业务线职位列表页优化为例，因为线上列表页存在已久，投递连接转化也相对固定，产品侧希望通过丰富HR字段来探索提升职位列表投递转化的可能性。

通过前期各方的沟通，我们也明确了此次优化的目标为提升用户的投递转化率，基于这个目标，我们也拓展出多个优化方向，我们期望通过A/B测来验证我们的方案，找出最优方案。

2. 设置变量

达成目标的方式有多种，设计师应合理转化产品的目标，拓展多个解题方案。除了产品前期提供的丰富内容变量以外，我们也在信息内容展示形式上拓展出其他多个版本。在内容展示上，设计师也可以在信息元素大小、颜色、布局等多个维度去探究更合理的答案。

在设置变量环节，一个重要的前提是严格控制变量，两两对比只存在一个单一变量，只有这样我们才能判断最终的数据变动是否由某单一变量引起。

在列表页优化项目中，我们确定了以下两个方向去控制变量：

内容层面：验证HR信息、单条推荐理由、多条推荐理由
形式层面：标签的强弱、信息的布局

3. 设计方案

基于讨论的方向，我们共输出7版不同的方案（不包括线上版），两两对比控制了单一变量，从内容有无、标签的强弱、信息的布局等多个维度去反复验证。具体方案如下：

七种方案，在保证单一变量前提下，两两对比组合出多组不同的对照组。

4. 线上测试

通常而言，测试时间至少要达到3天，最长不宜超过14天。测试前2两天数据可能会出现大的波动而导致测试数据出现偏差，结合笔者经验，一般来讲新方案数据趋于稳定需要经历至少3天左右时间。

流量的路径及切分的方式可以根据具体情况来灵活配置，就职位列表来讲，基于Native的职位页面因为开发成本以及发版的限制，显然不适合做多版本的A/B测试，最终我们是在详情页推荐列表的H5页面去做我们的A/B测验，这样的好处显而易见，既规避了主路径列表的风险，又能节省开发量快速上线。同时在流量的切分上，我们采用了1:1的切分方式，以保证样本的平均。