作者:无铥阿里巴巴
来源:阿里云开发者
导读:在现实生活中，用户对一件事的关注，也就是关系图，往往会随着时间而变化。按照静态图建模的方法，用户在时间序列上的兴趣变化是不会显示出来的。动态网络表征学习不仅可以学习当前网络的结构信息，还可以及时学习网络的变化。然而，目前主要是针对动态同构网络。在此基础上，本文提出了一种基于层次注意机制的动态图表示算法，这是对底层算法模型的一个突破。
01
背景介绍
目前大多数图嵌入方法，如node2vec、GCN、GraphSAGE、GAT等，主要是针对静态图模型，即假设图不会发生变化。但是在现实生活中，图表经常随着时间而变化。比如用户对连衣裙的兴趣会在一段时间内逐渐转移到高跟鞋上。关系图上的表现是，前一段时间用户邻居以连衣裙为主，后一段时间用户邻居以高跟鞋为主。按照静态图的建模方法，连衣裙和高跟鞋都会出现在同一个图上。虽然时间信息可以添加到关系的边缘，但只能作为控制徘徊或聚集的权重，无法显式建模用户对时间序列的兴趣变化。
动态网络表示学习，也称为动态图嵌入，不仅可以学习当前网络的结构信息，还可以学习网络随时间的变化，是目前图嵌入的一个热点方向。近年来，与动态网络表征学习相关的算法如雨后春笋般出现，如DynamicTriad、DySAT等。然而，目前它主要针对动态同构网络。受DySAT和HAN算法的启发，我们提出了一种动态异构网络中基于层次注意机制的动态图表示算法，该算法优于现有的离线评价方法。
在业务落地上，考虑到开发难度和线上曝光度，我们在之前GraphSAGE i2i的基础上引入了动态模型来更好地学习时间序列信息，在业务上取得了一定的效果。
02
创新ˌ革新
在创新层面，针对用户和商品的动态异构图，提出了一种基于层次注意机制的动态图表示算法。
1.图形的构造
这里主要描述自己数据集的构造信息，其他数据集也差不多。我们使用用户历史行为日志来构建。
类型:用户和商品
类型:点击、查询、订单等。
时间切片:每天的用户行为作为一个时间切片，10天的时间切片用于训练，第11天用于评估。
信息:节点id。
该关系图是具有11个时间片、2种节点类型和3种边类型的异构动态图。在一个时间片下，如果只看点击类型的边，得到的是这个时间片下点击边类型的子图。
2.模型
算法主要是三层注意机制，模型结构如图1所示。这里，三层的整合是节点层、边缘层和时序层的聚合。在DyHAN中，我们都使用了注意力机制，但实际上这三个模块可以用其他聚合方法来代替。例如，节点级别的聚合可以使用GraphSAGE的mean、mean-pooling和max-pooling方法。时间级聚合可以使用RNN类方法，如LSTM和GRU等。
节点级聚合的目的是在每个时间片下对每个边类型子图中的每个节点进行关注，以融合自身及其邻居的信息。这个融合向量可以表示该节点在这种边类型下的语义信息。Query是节点本身，key是节点的邻居。
分层边聚合主要用于聚合每个时间片内每个节点的边类型向量，某一类边类型向量对该节点的贡献可能更大。例如，订单的边类型向量对交易商品的贡献很大。
层次聚集主要聚集每个时间片内的节点向量。在这里使用标准的点积注意。m是一个掩码矩阵，主要是让节点向量只看到过去的节点向量。
为了增加表达能力，各层的聚合可以使用多头机制。
损失函数选择交叉熵，正负样本只在最后一个时间片上选择。
实验
推荐矢量化召回是通过计算两个节点的相似度来预测用户潜在感兴趣的产品。为了更好地适应业务，我们选择边缘预测作为我们的实验任务。baseline选取了静态和动态图表示的代表性算法，如DeepWalk、metapatpvec、GraphSAGE和GAT对于静态图形；主要有DynamicTriad，DySAT等等。我们在两个公共数据集和我们自己的数据集上进行了实验。这是实验结果。
详情请参考我们的论文:
杨路伟，肖智波，文江，易伟，，和，“基于层次关注的动态异构图嵌入”，第42届欧洲信息检索会议，2020
03
实践与探索
考虑到目前ICBU推荐引擎的机制对用户矢量化的曝光率较低，我们首先尝试在i2i上进行动态图表示，即在GraphSAGE i2i的基础上直接引入动态模型。
1.图形的构造
每个时间片图的构造遵循之前的GraphSAGE i2i模型，由于工程实现的机制，只给出最后一个时间片的节点向量。所以为了不减少产品覆盖，每个时间片都设置为90天，时间片之间设置适当的重叠。
2.模型
这样，模型实际上就变成了简化版的DyHAN，分为两层。第一层是GraphSAGE的聚合机制，主要计算每个时间片的节点向量。第二层是时间序列级别的聚合，它采用了上面介绍的比例点积关注。最后的训练是无监督训练，无监督学习样本的选择是优化的，损失函数是三联体损失。
3.线下评价和线上效果
离线评估:我们随机选取该会话下的第一个产品作为触发器，计算该会话点击的不同产品的覆盖率。选取1万个这样的样本，原始graphsage_i2i的覆盖率增量为4.2%，dynamic_i2i的覆盖率增量为10.9%。
线上效果:详细上线推荐，L-AB转化率提升3.54%，L-O转化率提升14.23%。在整个详情页的转化率上，D-AB的转化率提升了0.85%，D-O的转化率提升了2.57%。
04
摘要
在动态图表示的研究中，创新性地提出了DyHAN的异构动态图建模方法，并将动态图表示模型引入阿里巴巴国际站推荐领域，在业务上取得了一定的成果。同时，我们也发现这种时间切片的动态图表示模型具有相对较高的计算成本，因为每个时间切片都要运行一个静态图表示模型。如何降低计算成本是未来的研究方向。同时，如何在时间维度上更好地整合时间序列信息也是未来的一个研究方向。
05
参考数据
【1】格罗弗、阿迪蒂亚和朱尔·莱斯科维奇。" node2vec:网络的可扩展特征学习."第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集。2016.
基普夫、托马斯·n和马克斯·韦林。"图卷积网络的半监督分类."arXiv预印本arXiv:1609.02907。
汉密尔顿、威尔、之桃·英和朱尔·莱斯科维奇。"大型图上的归纳表示学习."神经信息处理系统进展。2017.
【4】Velikovi，Petar等人《图形注意网络》arXiv预印本arXiv:1710.10903。
【5】周，乐奎，等，“基于三元闭合过程的动态网络嵌入模型研究”第三十二届AAAI人工智能会议。2018.
【6】王，谢，嵇，h，石，c，王，b，叶，y，崔，p，于，P. S。异质图形注意网络。在万维网会议上。
【7】Sankar，Aravind等人，“DySAT:通过自我注意网络在动态图上进行深度神经表征学习”第13届网络搜索和数据挖掘国际会议论文集。2020.
【8】L. Yang等，“基于层次关注的动态异构图嵌入”，2020年第42届欧洲信息检索会议论文集
今天的分享到此结束。谢谢你。
分享，喜欢和观看在文末，给三重打击~ ~
会员推荐:
DataFun会员计划发布！多重权益加持，为您打造数据科学家之路！扫描代码了解更多信息:
文章推荐:
阿里新一代Rank技术
关于我们:
DataFunTalk专注于大数据和人工智能技术应用的分享与交流。2017年启动，已在北京、上海、深圳、杭州等城市举办了100多场线下沙龙、论坛、峰会，邀请了近600位专家学者参与分享。其微信官方账号DataFunTalk积累了300+原创文章，百万+阅读量，8万+精准粉丝。
分享，就像，看，给三重打击！
