一、背景

有赞是一个商家服务公司，致力于帮助每一位重视产品和服务的商家成功。随着移动互联网的流量增长红利渐渐褪去，商家获得新的流量越来越困难，帮助商家实现更有效的流量转化与长期目标的增长是有赞SaaS服务的应有之义；同时，随着有赞SaaS功能的不断完善，服务的商家不断增多，而业务场景也越来越复杂，考虑到有限的研发资源，提升产品和技术的迭代效率成为当务之急。

在硅谷，增长黑客等数据驱动增长的方法论，正在帮助如Facebook、Google等如此体量的公司实现持续的业务高速增长；在国内，通过数据手段来驱动业务增长也取得了共识，数据成为赋能增长的核心手段。其中，A/B测试作为数据驱动增长的核心工具，可以有效地提升流量的转化效率和产研的迭代效率。 因此，作为数据团队，基于对数据驱动增长的思考，我们首先构建了有赞ABTest系统。

二、A/B测试概览

简介

A/B 测试是一种对比分析方法，通过对流量进行细分和随机实验，并监控和跟踪实验效果，来判断实验所代表的策略的可行性和有效性。

• 对比：通过对流量的随机细分，来进行有效的独立随机实验，可以排除外在条件的影响，因此更加科学。
• 分析：通过跟踪和分析实验的事实效果数据，来判断实验的可行性和有效性，因此更加精确。

如下图所示，示例 A/B 测试将目标人群随机划分为A、B两组，分别展示不同的页面，然后通过跟踪和对比A、B两组用户的转化率，来比较A、B页面的效果；显而易见的，A组页面的转化效果好于B组页面。

相比原有基于时间的如T+30的效果对比，A/B测试可以排除时间和人为因素等外在所有因素的影响，并且保障同时进行的场景实验相互独立互不干扰，可以准确而且高效地评估实验效果。

应用场景

A/B 测试解决的是策略优化的问题，即从多个可选策略里找出最优策略。常见的应用场景包括：

• 灰度发布：技术&算法迭代
• 功能优化：界面模块、样式风格、交互方式等
• 内容优化：推广海报、落地页、内容模块、文案等
• 运营优化：运营策略、沟通话术等

核心概念

我们参考了Google的论文《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》，考虑到流量的隔离、复用以及细分，引入了以下几个核心概念：