在我们的日常工作中，我们经常希望通过分析一些数据，找出购买率下降的原因，从而去改善当前的销售方案等。尤其是电商公司、实体店等实物销售为主的公司，会对这类问题更加关注。
下面，我们以箱包公司的促销活动为例，来分析一下哪种广告投放效果，可以改善产品购买率偏低的问题。
分析
案例：A公司每月都会开展箱包的促销活动，虽然促销活动是一种销售比率很高的经营策略，但公司高层却指出“虽然促销活动的销售额较高，但购买率却比较低”。并希望能够通过数据分析，找出购买率偏低的原因，改善这种状况
1、业务理解
首先，我们先讲问题重新理一遍：
现状：和其他商品的促销活动相比，箱包的促销活动的购买率偏低。
目标：弄清楚购买率偏低的原因，并提升箱包的购买率。
为了弄清现状与预期之间的差距，首先们我们要从不同角度来思考，并作出相应假设。
假设一：箱包促销活动的内容有问题
1）销售的箱包并不是用户需要的；
2）促销打折的力度不够，对用户没有太大吸引力。
假设二：广告的外观展示有问题
针对第一种情况，我们可以去策划部门获取信息。得到的结论如下：
1、这些箱包都是日常生活必需品，使用频率非常高；
2、和其他商品一样，折扣力度从用户的立场来看，是很划算的。
通过这一情况，我们能得出结论：第一种假设问题基本不存在。
那么，我们下一步就需要考虑假设二的问题。经过咨询销售部门，我们得到了这些信息：
1、箱包促销广告是由不同的广告公司设计的，因此，广告质量确实参差不齐；
2、箱包的广告点击率一直比较低，如图：
由此可见，假设二是造成箱包购买率偏低的主要原因。接下来，就可以做进一步分析了。
数据建模
先给出我们的目标解决方案：投放点击率高的广告，替换之前使用的广告。
为了能完成上述方案，我们先要找到哪种广告点击率较高。但由于之前每月开展的“大促销”活动，广告页面一直都没有变更过，因此缺少可供分析的数据。
于是，我们需要准备两个不同的广告，通过收集数据，来比较哪个广告更容易被用户点击。下面4种方法，是我们本次用来分析的主要方法。
采用前后比较法
如果要比较两个广告哪个效果最好，我们通常会想到投放前后的对比。如下图。左侧为先投放一段时间a广告，后投放一段时间b广告，进行效果对比。
这种做法显然是不科学的。因为产品的销量与淡旺季会存在一个明显的对比。例如，双十一前后产品的销量，明显会有较大的数据差异。因此，我们很难说清究竟是时间影响了产品的销量，还是广告影响了产品的销量，所以，我们不能采用这种方法进行分析。
采用A/B测试
针对这种情况，一种便利的验证方法是A/B测试。A/B测试能够在多个选项中，找出能够带来最佳结果的选项。
如下图，只要同时投放广告A和广告B，就可以排除外部干扰因素了。
A/B测试虽然在引入时，需要较高的开发成本。但是实施过程中，成本却相对较低，而且也方便收集统计数据，因此，在互联网业界、部分广告业和制造行业，被广泛应用。
那么，在A/B测试中，我们应遵循哪些原则呢？
最重要的一点，就是随机原则。
首先，我们需要将用户分到A组或B组中，然后针对性投放，再比较两组用户的购买率。其中，需要注意的是如何进行分组。比如，按照如下方法来分组：
A组：男性
B组：女性
按这样分组的方式，可以排除比如时间、活动、TVCM等因素的影响。但是，由于男性和女性用户对箱包的消费倾向就存在差异，因此这也可能对最终结果产生影响。
所以，在进行分类时，切忌以类似于“男女”这种条件，作为分组的标准。如果一定要区分男女，你可以将类目分的更为细致一些。比如将男性分为2组，分别投放2种广告，这样得到的结论会更加精准。
假设检验
无论是在A/B测试中，还是日常判断两组数据之间是否存在差异，都可以通过统计学的“假设检验”来做判别。
那么，对于假设验证来说，影响结果判定的主要因素有哪些呢？
根据大量数据验证和实践证明，样本数据量是影响最终结果的主要因素。
比如，两组样本都只有5人，在判断购买率时，可能会造成很大的误差：
1）常从来不买，但这次却偶然买了。
2）常经常购买，但这次却偶然没有购买。
由此可知，在使用假设检验时，我们要考虑到这些因素的影响，并得出一个“显著性差异”的结论。
另外，即使存在“显著性差异”，这种差异在商业领域也未必有意义。所以，我们要“先通过假设检验找出有统计意义的差异，再探讨这个差异在商业活动中是否有意义”。
模型分析
当你确定数据模型后，接着就要考虑如何收集数据了。基于我们现在还没有任何可用的数据，所以需要和箱包的开发人员协商，请他们输出如下日志，以方便我们进行A/B测试。
收集数据
1）ab_test_imp。
2）ab_test_goal。
为了方便在A/B测试分析，我们需要将上述两份日志合并起来，生成一个新的标志位，来标识该条记录是否被点击，具体代码如下：
A和B的点击率是否存在显著性差异
1）统计A和B的点击率，以确认哪个广告更好。
结果表明，A的点击率大约是8%，B的点击率大约是12%。
2）差异检验。
p值小于2.2×10-16,是一个非常小的值。p值越接近0表明差异性就越大，通常来说，当p值小于0.05时，称为“存在显著性差异”。至于为什么是0.05，请大家参考一下专业书籍。在我们的案例中，可以说将两种广告分为A和B并同时投放后，所得到的点击率存在显著性差异。
3）点击率随时间的变化。
在时间序列图中，如果广告B的效果始终比广告A好，那么我们就不需要再考虑其他因素了。但如果，广告B在某些时间段里没有广告A效果好，那么我们就要另当别论了。
由上图可知，广告B的点击率在大多数时间里都优于广告A，所以，总的来说，广告B的效果始终比广告A的效果要好。因此，在改变了所投放的广告后，点击率也随之发生了相应的变化。
结论
围绕上述案例，我们不难看出，在做数据分析时，我们首先需要明确问题和目标，接下来才是根据问题进行假设，然后通过各类分析方法进行验证，最终得出一个存在“显著性差异”的结论。
在这个过程中，我们需要充分考虑影响因素的产生，以及误差结论的产生，避免走造成策略上的失误。
