亲爱的数据由谭晶制作，陈鸿宇编辑
在亲戚朋友眼里，你长这样:
在推荐广告眼里，你长这样:
用户数据用户数据先描述一下推荐广告的过程:当你看到推荐的广告，这就叫曝光；有兴趣的话就点开推荐广告进去看看。术语是到达登陆页，这是你可以花钱的地方；在你了解了商品或服务之后，你就信服了，下单，完成订单。这时候专业术语就是转化，是成功的推荐广告。但是信息那么多，你怎么知道你看到的信息一定是你感兴趣的呢？这个不用担心。如果你的用户信息被别人看得越全面，恭喜你，你越容易被广告记住。既然信息推送，在寻找你需要的信息的同时，预测到是你感兴趣的广告，它也在主动找你。
一、广告推荐的基本原理:广告的点击概率
为了尽量减少白给的推荐数量。我们需要千方百计让访客点击，也就是增加广告点击的概率。对于广告主来说，点击率就是条件概率。让我们回顾一下概率公式:
可以表示为:Pro
是有条件的广告广告、流量页面、用户、时间、时间和地域。
以搜索为例，展现部分与描述客户的元素相关，搜索哪些词，通过搜索浏览哪些网页。然而，显示广告的点击概率是从0到1的连续值，而在真实情况下，点击概率是0或1的离散值。无论是谷歌的广告还是脸书的广告，这里的搜索厂商的业务和技术都是相似的。
所以点击率成为核心概念，
点击率=点击次数/展示次数，即广告点击并到达广告主指定页面的次数除以广告总展示量。
如果我有一个广告位，有N个品牌厂商想做广告，我必须选择价格和每次点击点击率高，广告出价最高的那一个，这样有广告位的人赚得更多。需要对各个品牌厂商的不同指标进行排序，也就是做广告的人群。当有多个广告位时，一般以点击率的预测作为排序的基准。比如在搜索引擎广告系统中，当用户搜索哪个健身服务好，哪个机构是人工智能训练出来的，类似于这个具有商业价值的搜索词，系统一般会执行以下步骤:
1.获取与用户搜索词相关的广告集合。
2.商业规则和相关性过滤。
关键词推荐的逻辑包括候选词源触发、相关性过滤、排名模型排名、根据规则调整。比如‘色情’的结果一定要过滤掉。
3.根据拍卖机制和点击率排序。用户搜索时，匹配与搜索词相关的广告，并根据每个广告的点击率和广告竞价对广告进行排序。
4.最后展示广告。
在关键词选择方面，一般搜索厂商都有成熟的关键从工具。
但是从用户的角度来说，他们可能不希望被广告主发现。所以有人会辩称这是隐私保护的问题。比如犹豫要不要做一次消费。寻找理想的商品价格太贵，难以承受。不买，算了。结果之前的搜索行为暴露了意图。接下来的几天不断推送各种广告，也很烦。
如果不使用点击率排序法，只能根据广告的相关性进行广告投放，不需要人工反馈。容易引入无关广告，也有可能引入欺诈广告。点击率法可以通过点击率过滤掉欺诈广告。不考虑点击率，就没有点击率估算的概念。也无法对预估数据进行排序，很难投放出一些高质量有价值的广告。
机器学习是预测点击率的有力工具。
第二，当推荐广告使用机器学习算法时
机器学习最基本的方式是用算法分析数据，并从中学习。然后对现实世界中的事件做出决策和预测，比如预测你会不会点击这个广告。基于上亿的搜索数据，通过深度学习提取特征，广告主可以更精准的找到客户。
第一步是从原始数据中提取特征，形成宽表。例如日志信息。
二、噪声过滤，如果数据中有缺失值或异常值，要进行噪声处理。
第三步，特征选择，去除冗余特征。你提取了很多你认为可能影响点击的因素，选择比较合适的放进去。
第四，通过特征变换挖掘特征中的潜在信息。挖掘特征中的关系。
第五，选择合适的算法，建立机器学习的模型。
第六，调整参数，使模型效果最优。
第七，模型评价，评价指标如准确率、AUC等。
如果结果是好是坏，我们需要一个反馈机制，但如果效果不好，我们应该重新选择功能。
在推荐案例方面，前资深科学家、智慧铀科技创始人夏芬博士在《创业者》的APP中提到，这个APP的用户是创业者和相关投资人。在这种场景下，内容的目标是用户的个性化推荐。最重要的是找到用户和文章的最佳匹配。用户的端信息会包括:使用习惯、消费属性、兴趣特征、自然属性、社交属性。是文章的基础属性、内容属性、运营属性和用户参与度。
方案1: LR逻辑回归。
特点:训练速度快，参数少，特征可解释性好。效果中等。
备选方案2: DNN。
特点:模型层数多，参数多，训练时间长，效果好。
方案三:LRDNN。
特点:结合了DNN模型和LR模型的优点，训练时间适中，效果良好。
毫不夸张地说，在过去很长一段时间内，大数据的方法论在实践中产生大规模收益的唯一落地行业就是网络广告，但大数据这个词在当时并没有那么流行。即使在今天，计算广告仍然是大数据应用中最成熟、规模最大的行业。-“计算广告”
第三，当机器学习平台自动化时
随着网络广告领域大规模搜索和文本分析、信息获取、统计模型、机器学习、分类和优化技术的成熟，广告寻找与其内容相匹配的精准客户已经成为一种相对可靠的技术。
但是，技术的进步不会停止。随着算法设计的突破，机器学习平台已经可以用于建模，效率明显高于人工建模。过去，手工建模可能需要几个小时到几天的时间。机器学习平台的自动建模时间可以缩减到几分钟，模型效果会有显著提升。可以自动提供特征和模型的说明报告，方便用户理解和使用模型。这样平台建模可以整合数据、模型、算法库，上传数据后自动生成创业者的数据报告，添加预测标签，自动建模，提高深度学习的效率。机器学习是自动化最基本和最常用的数据分析方法。利用算法更好地向消费者推送广告。因此，从用户的角度来看，精准的广告推送不仅应用了机器学习技术，在此基础上，用于自动化广告数据分析的机器学习平台也已经投入使用。
目前有很多开源算法，但这只是提供一种算法，并没有解决如何自动使算法达到良好效果的问题。科学家需要将算法应用于实际问题。目前，人工特征挖掘、特征选择和特征组合可以通过机器学习的平台来加速。在广告场景中，大规模机器学习平台的效果可以很好。
自动机器学习最大的突破是算法设计的突破。你要发现问题A和问题b差不多，比如Google AutoML就是强化学习做的，也是差值。差值下也有生成概率。我有几个候选，都可能是最优解。我把每个最优解的一些概率分布放在这里，然后我根据概率分布随机抽一点，试试。如果我尝试，反馈会改变这个概率。学习这个策略就是用强化学习的方式去做。强化学习是实现自动化的一种方式。-夏芬博士
网络广告在短短十几年的发展中，形成了针对各类人群的技术投放模式。在线广告因其精准的到达目标受众的方式而变得非常强大。但是，技术和数据的应用总是有利有弊。在最近的丑闻中，脸书的选举广告已经在不知不觉中影响了选民，因为它足够准确，对目标受众足够了解，可以起到有针对性的说服作用。比如选举，你的选票在特朗普和希拉里之间来回摇摆，犹豫不决。如果你经常赞扬反对移民到美国的新闻和文章。算法会给你推一个类似“特朗普抨击移民抢了美国人的饭碗”“特朗普主张收紧移民政策”的广告。总之，让你频繁看到特朗普的政策最适合你。最后你被精准推送消息影响，投了川普。其实你是被推送广告的人或者机构悄悄影响的。而特朗普对亚洲和女性的态度，那些你根本无法认同的东西，早就被遗忘了。这是一群有态度的人的做法。有一对一的推送业务怎么办？社交网络的很多用户都是实名制注册的。在刷脸书的时候，很多意识上的无意识变化已经悄然发生。
以上内容，部分可参考夏芬博士在人工智能开发者实践营的演讲，因为未联系到演讲人，内容也未向演讲人求证。请原谅我。
