大数据摘要有效
作者:鱼
经常逛淘宝的同学应该会发现，淘宝手机客户端的首页有一个“猜你喜欢”的版块，经常会推荐一些你在淘宝上搜过的相关商品，偶尔也确实会给你带来小惊喜。那么淘宝是怎么做到的呢？
近日，阿里团队在arXiv.org发表了两篇关于实时竞价系统算法的论文，称其不仅能帮助商家在广告竞价中给出合理的策略，还能让商家利润最大化。
大数据文摘微信官方账号后台对话框回复“竞价”即可下载两篇论文~
以下是第一篇论文的部分内容:
基于多智能体强化学习的实时竞价案例
实时广告为广告商提供了一个为每个展位的参观者竞价的平台。为了优化特定目标，例如最大化广告收入，广告主不仅需要估计广告与用户兴趣的相关性，最重要的是，他们需要在市场竞价中对其他广告主做出策略响应。本文提出了一个实用的分布式协作多代理竞价系统，用于平衡广告商之间的竞争与合作。阿里行业的实际数据证明了这种建模方法的有效性。
竞价优化是实时竞价最受关注的问题之一。其目的是帮助广告客户对每次拍卖给出合理的出价，并最大化竞价系统的关键性能指标，如点击量或利润。传统竞价算法的缺点是将竞价优化视为静态问题，因此无法实现合理的实时竞价问题。
多智能体强化学习的关键在于如何设计机制和学习算法，使各个智能体很好地协作。淘宝有大量的广告主，多智能体强化学习正好可以用来解燃眉之急。
淘宝的展示广告系统
在淘宝广告系统中，大部分广告主不仅做广告，还在淘宝电商平台上销售自己的产品。淘宝广告系统可以分为三个部分，如下图所示:第一步是匹配。通过挖掘用户的行为数据，获得用户的偏好预测。当接收到用户的请求时，根据实际情况，从整个广告语料库中实时匹配出部分候选广告。其次，实时预测系统预测每个推荐广告的点击率和转化率。最后通过实时竞价和排名的方式展示候选广告。
淘宝广告系统概述
匹配、实时预测和排名依次处理用户的请求，然后返回特定数量的广告。这些广告显示在淘宝客户端的“猜你喜欢”板块。
多代理广告竞价算法原理
把实时竞价想象成一个随机博弈，也叫马尔可夫博弈。马尔可夫博弈是作为随机过程的多步博弈，将传统的马尔可夫决策过程扩展到多个参与者的分布式决策过程。
商家和消费者被分成不同的集群。每个商户集群都有一个代理来调整不同消费者集群的广告竞价。对于动作a_ij，I迭代商户集群数，J为消费者集群数。Bratio_k代表商户K的基本调整率..
由于输出行为是连续的空，本文采用梯度确定性策略学习竞价算法。
淘宝广告系统DCMAB工作流程图
状态服务器负责维护Agent的工作状态，包括一般信息G、消费分布D和消费静态特性X Q。
DCMAB网络结构的设计
DCMAB示意图
算法流程图如下:
实验
和评估设置。
数据集来自阿里的行业数据，广告的推荐效果显示在淘宝App首页的“猜你喜欢”；广告主收入是主要的评价依据。
对比法
手动设置投标上下文老虎机高级关键行动者连续行动控制分布式合作多代理投标系统
实验结果
表2显示了不同算法下广告主独立竞价的收益。
表中列出了不同算法的收敛性能。表格中的每一行数据都显示了相应算法的结果，每一列数据都是本次实验中不同代理集群的结果以及广告主的总收入。研究人员对每种算法进行了四次实验，并给出了平均收益和标准差。
各种算法的学习曲线和基线的比较
实验结果表明，DCMAB算法的收敛性比DDPG算法更稳定，验证了将所有智能体的行为输入到行为值函数中的建模方法的有效性。DCMAB和DDPG的学习速度比A2C和老虎机快，体现了基于内存回访的梯度确定性策略的优势。
第二篇论文是关于预算约束招标的，给大家简单介绍一下。感兴趣的同学可以下载全文阅读。
基于无模型强化学习的预算约束投标
实时竞价几乎是网络广告最重要的机制，每个页面浏览量的合理竞价对良好的营销效果起着至关重要的作用。预算约束竞价是RTB机制中的一个典型场景，即广告主希望在有限的预算下最大化用户印象的总价值。
然而，由于交易环境的复杂性和不稳定性，实时竞价的优化策略往往难以实现。为了解决上述问题，本文将预算约束招标视为一个马尔可夫决策过程。与以往基于模型的工作不同，本文提出了一种基于无模型强化学习的新框架，该框架依次调整报价参数，而不是直接生成报价。
基于这种思想，通过部署深度神经网络，学习如何给出适当的回报，引导智能体提供最佳策略；本文还设计了自适应贪婪策略来动态调整探索行为，进一步提高性能。真实数据集上的测试表明，本文提出的框架是真实有效的。
以上两篇论文介绍完毕。感兴趣的同学可以在大数据文摘微信官方账号后台对话框回复“竞价”下载两篇论文~
