全文3166字，预计学习时间8分钟。
图源：thomasnaetA/B测试，简而言之就是通过创建可信的克隆体，也就是两个完全相同的项目，来研究因果关系，然后观察不同的处理对它们的影响。
两个一模一样的项目不仅仅是相似，我的意思是比下图的两只猫更相似。关键是找到一个“可信的克隆”，或者让随机和大样本为你创建。
科学的和受控的实验是极好的工具:它们允许人们讨论原理和原因。没有它们，人们所知道的只是相关性，这通常对决策没有帮助。可以说，实验是在文明对话中使用“因为”这个词的许可证。
然而可悲的是，贪图结果而不付出，欺骗自己推理的质量，声称自己是科学实验而没有做适当的实验，这是很常见的。在不确定的情况下，你所做的不会被认为是实验，除非以下三个原因都存在:
使用不同的方法。
方法随机分配
经过科学检验的假设
想知道为什么要用实验作为推断因果关系的工具，请看一个最简单的实验背后的逻辑——A/B测试。
简要描述
如果你不想看详细的例子，请检查这个GIF，然后跳到最后一部分。
详细描述
想象一下，你的公司有一个已经用了好几年的灰色logo。现在，你的所有竞争对手也使用了灰色标识，你的主管坚持要将品牌更名为更明亮的颜色...但是，什么颜色？
虽然你的用户看到的徽标是灰色的，但这即将改变。在仔细评估了贵公司网站配色方案的实用性后，您的设计团队只确定了两种可行的候选颜色:蓝色和橙色。
CEO最喜欢的颜色是蓝色，所以她选择批准蓝色作为默认方案。换句话说，她认为如果没有其他原因，她乐于偏爱蓝色。但好在她是一个数据驱动的强有力的领导者，愿意把自己的想法变成数据驱动的橘子。
但是，CEO只有看到切实的数据，才愿意妥协。她要求提供证据，证明橙色标志可以在当前用户群中的网站特定部分产生更多的点击。
作为贵公司的资深数据科学家，你该搬砖了。你马上确定CEO的决策方法符合频率统计的框架。仔细听完她的话，你已经确定了她的零假设和备择假设与因果关系有关，这意味着需要一个实验。总结她告诉你的话:
默认方案:批准蓝色徽标。
替代方案:批准橙色标志。
零假设:橙色logo不会比蓝色logo被点击至少多10%。
替代假设:橙色logo的点击率比蓝色logo至少高10%。
对于这种设置，A/ B测试是一种理想的实验设计。
实时交通实验
图源：unsplash有几种方法可以运行A/B测试。在心理学实验室，我们经常看到的是把人请到街上，随机给不同的人看不同的刺激，然后问他们问题。
但是CEO想要的就比较难了。她的问题只能通过一个实时的流量实验来回答:当不同的用户在你的网站上进行日常业务时，给他们提供不同版本的logo。
实验基础设施
如果你想进行实时流量实验，那么你需要一些特殊的基础设施。与工程师合作，建立随机为不同用户提供不同待遇的能力，以及根据待遇条件跟踪CEO期望的能力。
为什么大家不常做实时流量实验？答案通常与高昂的前期成本有关。就像谷歌在我们甚至不知道要进行哪些实验之前就在我们的大部分系统中建立了实验基础设施一样，传统公司可能会在一开始忘记添加这一功能，然后发现自己落后于他们更懂技术的竞争对手。不过需要注意的是，如果想进入应用的ML /AI游戏，必须要有实验基础设施。
例子
你很谨慎，不想因为一个新logo的突然出现吓到用户。更明智的做法是对一些用户进行采样，然后逐步部署他们。
控制
如果想知道用户对新鲜感的反应，可以用灰色logo处理作为对照组。但这不是我们CEO想要回答的答案。她的重点在于橙色单独相对于蓝色的因果影响。因此，考虑到她做决定的方式，控制组应该是显示蓝色标志的用户。
首先，你的系统尝试将蓝色徽标基准应用于样本中的所有用户。然而，在系统实际向用户显示蓝色标志之前，实验基础设施将翻转虚拟硬币，随机将一些用户重新分配到橙色处理，以向他们显示橙色。
然后随机向某一些户显示橙色版本，而不向其他用户显示。如果观察到橙色版本的平均点击率更高，可以说是橙色方案导致了行为差异。如果统计差异高于10%，那么CEO会很乐意按照她的承诺改成橙色。如果不是，那么她会选择蓝色。
为什么是10%？因为这是CEO愿意接受的最低效果。如果决策者关心效果量，就应该把它包含在假设检验中。检验“无差异”的零假设是一个明确的说法，也就是说，你不会对效果的大小有任何怀疑。
如果处于橙色处理状态的用户对控制条件的反应不同，那么可以说显示橙色版本导致点击次数多于蓝色版本。秘密在于随机性
如果此操作不是随机执行的，例如，如果橙色方案提供给所有登录用户，而蓝色方案显示给其他所有人，则不能说橙色方案导致了差异。因为不管用哪种颜色的logo，可能登录的用户对你的公司更忠诚，更喜欢你的产品。无论以什么颜色显示，登录用户都可能有更高的点击倾向。
随机化是关键，是让你得出因果关系的结论，这也是随机性如此重要的原因。在样本量较大的情况下，随机选择会产生差异较大的群体。从统计学上来说，这两个群体是可以互相信任的克隆体。
决策标准越直接，样本量越大，实验设计就越不需要复杂。A/B测试很棒，但是更多的高级实验设计使你可以明确控制一些混杂因素。当你很想知道橙色徽标对登录用户的影响有何不同，并且希望将其纳入决策时，这个功能特别有用。无论哪种方式，随机选择都是必须的。依靠随机选择，A/B测试的蓝色和橙色条件下的用户群体一直都是各方面都差不多的。传统上，人们会考虑选择参与者来平衡他们的研究:如性别、种族、年龄、教育水平、政治观点、宗教信仰等。
但在其他一些我们通常无法控制的方面，随机选择会让他们保持相似:比如喜欢猫的人、喝茶的人、游戏玩家、哥特、打高尔夫的人、拥有尤克里里琴的人、慷慨送礼的人、游泳的人、暗暗讨厌自己配偶的人、几天没洗澡的人、对橙子过敏却不自知的人等等。
这就是样本量大，随机选择的好处，不用靠自己的聪明去考虑合适的混杂因素去控制。当使用随机数创建两个大的组时，您将得到一个白色的统计数据画布空-两个组在统计上是相同的，唯一的区别是将对它们做什么。
如果观察到两组结果有实质性的差异，那么你可以说这种差异是你的操作造成的，这就是实验的惊人威力！
探索因果关系是一场挑剔的游戏——这也是科学家也会做的事情。如果提出两个假的“克隆体”，并试图把不同的解决方案和方法归咎于不同的结果，如果没有大样本，你怎么知道不是他们眼皮底下的小斑点影响了结果？
留言关注
我们一起分享AI学习和开发的干货。
如转载，请后台留言，并遵守转载规范。
