在领英，用户可以分享自己的职场心得，同时也可以查阅、关注社交更新，跟踪业界最新动态，或者去寻找职业机会。
领英有超过9亿的用户，有超过2600万公司入驻，有着众多的职位信息和业界动态。
广告投放商可以在领英的平台上，也可以在领英的平台之外的一些渠道，去投放针对某些特定行业或者特定职场专业人才的广告。领英的市场营销解决方案，可以帮助广告商让自己的品牌和产品精确地投射到他想要的受众。
下图中是一个广告的例子，可以看到，广告非常自然地融入了其它一些社交动态当中。
当然了，广告渠道也有很多种，领英的广告业务最近几年有非常健康的增长速度，越来越多的广告商，尤其是toB的广告商，都选择领英来投放广告。
02
实验相关的挑战
接下来介绍领英的实验文化，以及在实验中面临的一些挑战。
领英有着非常强的实验文化，Data is in our DNA。在领英会有各种各样的实验，UI 变动、AI 模型的迭代、后端的一些变动、甚至一些小的 bug fixes 都会进行实验。实验平台每天都会计算，有超过三万个指标。每天同时进行的实验超过一两千，有大量的数据都会经由实验数据平台处理。
上图展示了实验结果分析的页面，用户可以非常清晰地看到实验的结果。绝大多数情况下用户可以自助完成实验的设计、运行和分析，不需要实验组或者是其他数据科学家来对于实验结果进行更多的解读。
在广告市场中，实验的产品就更为广泛了，比如我们会在供给端实验，广告投放的位置、密度都可以选择；也会在需求端实验，直接对广告商来做一些实验，可以为广告商带来更好的体验，或者是为他们提供更多的洞见。中间的匹配的过程（），也是通过实验来进行优化。
如果按照广告投放位置来看，有一些广告是在领英自己的平台上，同时还有很多广告是在与领英有合作关系的网站或者APP上，我们称为 。
根据实验对象，我们有对用户的实验，比如广告促销活动一般实验会分成实验组和对照组，每个组会给定相应广告的一个版本。通过测量指标来知道哪个组更好。
假设我们关心用户带来的广告收入，然后我们通过这样一个实验，发现有0.5%的提升，但是在推到100%实验流量后，发现有增长，但比0.5%小很多。经过一些分析后我们发现是由于蚕食效应（）。
例如一组实验组和对照组，假设实验组相对于对照组 click / user翻倍，会导致统计结果收入+100%，但实际上广告的收入并没有翻倍，因为实验组把对照组的一部分广告的钱蚕食掉了。在实践中，我们发现这个偏差可能是真正的实验效应的2.3倍。
如何发现蚕食效应呢？
通过逐渐放量的方式。初期实验中，我们会放量1%~5%，之后随着信心的增加逐渐放量到25%~50%，最后再放到100%。如果没有蚕食效应的话，那么实际每次放量过程中指标是差不多的。例如我们放量5%的时候去比较，会发现两边差别有70%之多，但是到50%的时候，这个差别只有10%不到了。
03
业界已有的解决方案
下面介绍一些业界主流的针对蚕食效应的解决方案。
首先明确一下我们做实验的基本准则：
解决方案一
用一个模型去校对实验的结果。通过在每次放量过程中的测量值，来预估100%放量时的情况。但实际使用中，模型本身带来的误差比我们期望的要大很多。
解决方案二
广告活动随机分到实验组，剩下的全部分到对照组。然后我们再比较这些广告活动指标的区别。但是实验对象是，就会造成我们的样本数不会太高，导致它的统计功效也不会很高。第二个广告投放对象会产生重叠。这样问题依然不能得到很好的解决，依然是有偏的。
解决方案三
每日交替的一个随机实验。以天为单位，第一天把所有用户全部放入对照组，下一天全部放入实验组，往复交替。它的缺点是，对于统计功效来说，统计点不会很多，30天就只有30个点，使得迭代速度大大降低。另外，每天预算是不同的，依然会引入偏差。另外，无法使用小时级分割，因为模型切换后是需要一定时间（预热）的。
04
领英的创新和实践——预算分割法
领英的解决方案是采用预算分割的实验方法。
首先，我们对每一个广告商的广告活动，都把预算一分为二。与此同时，我们也把用户分成一分为二。在实验组的用户只会看到实验组的广告，在对照组的用户只会看到实验组的广告。这样实际上我们是把整个市场一分为二，一个是对照组的市场，一个是实验组的市场。
这个方法成立基于以下两个假设：
首先，实验组市场和对照组市场之间不会互相干涉。当然，实际中这个假设肯定是不可能完全满足的，例如实验组和对照组用户可能在同一个社交网络中，他们还是会略微影响到彼此的。但是，我们可以近似认为这两个市场互不干涉。
另外，虽然我们的用户和预算都减半了，但是这个广告投放带来的市场反应，和之前是差不多的。比如之前广告十块钱可以有十个人点击，如果变成五块钱，给一半人看，大概也能近似拿来五个点击。也就是说我们可以用实验组的指标去推断整个市场的这个指标反应。
在这种实验框架下，测量结果应该是无偏的。并且因为是以用户作为实验对象的，所以统计功效也是非常高的。相对于每日交替的实验方法能提高30倍以上。
如何估计预算分割实验中的统计效率呢？
基于第二条假设，虽然预算用户减半这个广告的投放和反应跟之前差不多。也就是说，我们可以直接把实验组市场和对照组市场的结果带入即可，作为实验组和对照组的指标的影响。
接下来展示一下预算分割方案在实践中的表现。
在实践效果上，实验中方差非常小，能够很容易发现它对广告收入小的投入对结果的影响。例如可以发现用户一分钱的差别所带来的影响。
预算分割实验和一些传统的那个用户随机实验的对比，会发现预算分割实验能有效的去除蚕食效应。在很多时候传统方法对于估计是偏高的。
从统计功效上来看的话，预算分割试验相比其他的一些解决方案的优势也是非常巨大的。就如刚才说的，一分钱的广告收入的区别，是很容易能被预算分割实验发现，但是传统方法我们只能发现一些两毛钱、三毛钱的实验效应。
最后对领英的预算分割实验方法进行一下总结。
首先，预算分割实验不仅仅应用在广告市场中，在其它市场，比如招聘市场也有非常多的使用。预算分割实验是我们做实验的一个首选方案。一些较大的项目都必须要经过这样一个预算分割实验，我们才能够知道它真正的实验效应。
当然，在市场中进行实验，其实还有很多挑战，预算分割实验本身也不是非常完美的。这样把市场一分为二，同时只能做一个预算分割实验。但如果把市场分得太细，那么之前第二个假设就不成立了。同时也不能进行非常多的预算分割实验。所以，我们也会尝试更多创新，继续挖掘新的实验设计和分析方法来帮我们解决这些挑战。
05
Q&A
Q1：虽然 是把预算均匀地分成两份，但其实际上花出去的钱可能还是有差异的，需不需要对实际花出去钱的差异进行修正？
A：因为我们把这个钱分得更细了，可能在花钱的效率上会有些区别。实际上在做预算分割实验的时候，我们也做了很多分析，比如在广告中，我们比较看重一个东西，叫 ，我们能花掉更多的钱那是最好的。但是我们会发现如果你把这个预算分割实验分得太细了，那很多时候你会发现实际上是会慢慢降低的。也就是说，我们不能分得太细，所以我们在实践中最多分成四份。也就是同时有四个相互独立的市场。
Q2：具体是怎么确定分桶流量最少是多少，以及最多开多少预算分桶，刚才提到预算分组应该最多开四个，对于这个样本量估计是不是就按照普通的来就行？第一是最多分成几份，第二对于这里面的用户数有没有要求？
A：如果每一份儿里面的用户数实在是太少了，那么对实验功效会有副作用。需要具体情况具体分析。例如根据分成不同的数量，统计功效是多少，实验迭代速度增加多少，实际花销是多少，用户行为本身有没有变化，如果发现有非常大的区别，那就说明可能分得太多了。
Q3：如果是将预算分成两部分或者多个部分，有没有可能预算花费的拐点就不一样了。当我们把预算分成两部分，那它发挥的效力是不是也是会受到影响的？
A：实际中当然是可能的，但是，我们也是做过这种分析的。如果广告本身的投入已经挺大了，比如可能投入几万块钱。那把它分成两份儿，每份儿其实也是很多的。在实际实验中，我们做了一些分析发现，即使对这个广告本身的投入钱的投放比较小的话，拐点的区别其实不是非常大，因为这个广告系统中会有一些控制方法，使得花费的 curve尽可能比较平滑，让它更加接近于之前的那种情况。
Q4：广告的冷启动是怎么做AB的？会不会广告刚开始投的一段时间和后期是不一样的？对实验有没有影响，以及相应的一些处理方法是什么？
A：这个问题可能在很多领域都存在，不光是广告实验。如果实验效应随着时间的变化是非常大的，比如第一天是10%，第二天只有2%了，那可能需要去着重看一看这个实验最开始几天的结果，可能需要丢弃。但是，很多时候如果你没有发现有这种比较强的信号，就不必太过于担心。如果可以，我们也能做一些 Study，就是在实验过程中，某些用户可能是在实验进行中某个阶段才加入实验组的，如果能做一些他们之间的对比，如果发现有很大区别，那可能是用户需要去用这个产品一段时间才能真正感受到实验带给他的一些帮助。总之需要因地制宜，看这个实验本身，一些限制条件是什么，能做的是什么，第一目标是什么。
Q5：在工作中，设计了某种实验方案后。如何给业务方证明这种实验方案是合理的，并且对方能够接受？
A：以预算分割实验为例，对于整个系统来说是一个非常大的改变，就会牵扯到很多组，很多人员投入到其中。第一，必须要进行一些非常详细的分析。比如我们这个例子就非常的明显，之前我们没办法知道这个实验到底是好多少，然后我们就可以用这个数去告诉我们的 team，让他们去做一些预算的分析。所以这个投入本身很大程度是值得的。第二就是从cost上去看。到底需要多少人，到底需要改变哪些东西才能够达到期望的设计方案。如果能够很好地去量化人力、物力和时间，把cost和同时摆到台面上，那么就会显而易见，更具说服力。
云衔科技是一家专注于企业数字化广告营销解决方案的服务商。公司凭借深厚的行业经验和专业技术能力，致力于为企业客户提供全方位、更高效的数字化广告营销与运营服务。
