艺术经纬:埃涅阿斯太困了
【新智元简介】大事件往往会引发“爆款”热搜。微博服务器为什么会站起来？微博上全是我的“网络喉舌”。为什么推荐的内容那么讨我欢心？
2021年7月13日，劳累了一天的年轻人正准备平躺拿出手机，打开熟悉的小破网站App，一键三连自己喜欢的UPmaster最新视频。
突然发现他的眼睛是黑色的:
时隔一年，哔哩哔哩终于揭开了谜底:一个狡猾的零。
但是，你有没有想过，为什么这条微博在经历用户疯狂涌入的情况下，却没有崩溃？
AI和微博有什么关系？
在揭开这个谜团之前，我们需要先从人工智能的发展说起。
2022年7月27日，由中国互联网协会指导，微博、新浪新闻主办的新智者大会成功举办。
在“智能驱动一切:AI加速万物互联的到来”主题中，微博新浪移动CEO首席运营官、新浪AI媒体研究院院长王微发表了题为“云以数字智能技术的融合与应用赋能微博复杂业务场景”的主题演讲。
王伟表示，如果回顾机器学习的发展，可以看到AI的整体发展趋势是:训练数据的大海量化和多样化，AI模型的复杂化和通用化，计算能力的高效化和规模化。
第一，多模态数据融合。
随着5G的快速发展，图片和视频的模态内容在网络内容中的比例越来越大，因此模态融合是必要的。
对于微博来说，如果文字、图片、视频能同时多模态融合，就能更好的理解微博说的是什么。
第二，是非常大规模的图计算。
与其他机器学习模型相比，超大规模图计算有一个特殊的优势:它可以通过信息在网络中的传递，促进信息的流动、汇聚和整合。
举个例子，对于一个行为很少的冷启动用户，我们可以通过他关注列表中的人，以及这些人发布的内容，通过信息传播来推断这个用户的兴趣。
第三，AI开发的哑铃模型。
目前AI研发的重点，一是越来越大的超大型模型，二是模型小型化技术。
众所周知，目前随着模型参数规模越来越大，模型效果越来越好，高精度模型还在不断增加。比如2018年Google的Bert刚出来的时候，模型参数的规模是3亿，不算太大，但从那以后，这个数字一直在快速增长。
AI开发的GPT-2模型的参数规模为15亿，GPT-3模型的参数规模为1750亿。到2021年，谷歌发布的Switch Transformer的参数规模达到1.6万亿。
另一方面，虽然模型越大效果越好，但由于模型太大，有时无法做出实际应用。所以RD的另一个重点是将这些大型模型小型化、轻量化，比如模型提取、模型剪枝等技术。
第四，AI模型从特殊模型走向通用模型。
Google在2021年下半年发布了Pathways模型框架，并首次提出了这一思想，希望通过构建一个通用的大模型，达到“一个模型可以做成千上万件事情”的目标。
具体思想是在输入不同任务的数据后，通过路由算法选择神经网络的一些路径到达模型的输出层。不同的任务既有共享的参数，也有唯一的模型参数。
具有10亿个节点和100亿条边的超大规模图
为什么讲机器学习讲了这么久？因为接下来，就是“微博特色推荐系统”。
众所周知，作为国内最大的社交媒体网络，微博月活用户数已经达到5.82亿！如此大规模的用户，必然使得微博上的网络环境非常复杂。
再加上内容的时效性和多样性，当下的网络事件都会在第一时间在微博上引爆。
此外，微博面对的场景还是非常多样的，需要在关系流、热点流、视频流等众多场景中，把自己感兴趣的“千人千面”分发给用户。
我可以没有手指，但我不能没有手机。
面对复杂的业务场景，微博是如何通过AI和大数据做出适应性强的推荐系统的？
王微告诉我们，微博的推荐系统由内容理解、用户理解和推荐系统三部分组成。
首先是内容理解。
想要理解一条微博在说什么，仅仅理解文字内容是不够的。你必须采用多模态理解技术，整合博文、图片、视频等媒体信息。
于是微博训练了自己的微博多模态预训练模型，通过“比较学习”，用这种自我监督的学习方法进行多模态预训练。
下面的例子展示了微博如何利用自己的“话题”自动构建训练数据。
比如我们把两个都写了“训练中的拉赫福德”的微博作为正例，随机选取话题不同的微博作为反例，这样就可以自动构造训练数据。
对于某一条微博，文本内容采用Bert编码，图像和视频内容采用ViT编码，然后通过融合子网络进行信息融合，形成微博的嵌入编码。这是一个预培训过程。
经过预训练后，可以使用学习良好的微博编码器对新的微博内容进行多模式编码，形成嵌入，可以应用于推荐等下游任务。
其次，在用户理解方面，微博采用了超大规模的图计算，更好地理解用户的阅读兴趣。毕竟微博有自己的社交媒体属性，自然和大规模的图计算相匹配。
将用户和博文作为图中的节点，通过用户与博文的关注关系、阅读和评论等交互行为，在图中构造边，微博建立了一个10亿节点、100亿边的超大型图。
通过大规模图计算中的信息传播、聚合和整合，形成代表用户兴趣的嵌入向量，可以更好地理解用户兴趣。
这样可以同时处理用户之间的关注关系、用户和博文的评论和赞等交互行为。
微博推荐系统在了解用户在微博中谈论的内容和用户的兴趣后，会将优质的微博单独分发给感兴趣的用户。
那么，在这种复杂的场景下，如何构建一个高效的推荐系统呢？
微博采用了多场景建模的方式。理想情况下，应该只构建一个推荐模型来服务多种场景。
那么如何表达场景之间的共性和个性呢？场景之间可以通过共享网络参数来体现场景的共性和个性，或者场景本身可以享受私有网络参数。
比如这个模型图，在模型的底层特征输入层，以及网络中间的一部分“专家子网络”，这些网络参数是所有场景共享的；而其他子网参数对于特定场景是唯一的。
这样一个模型可以服务多个场景，节省模型资源。
唐山事件:流量翻倍怎么办？
现在，让我们回到最初的悬念。
对于微博来说，这个随时会“炸”的热点一直是一个很大的挑战。
比如最近引起全民关注的“唐山事件”，事发当天的热点流量是日高峰流量的两倍。
王微表示，微博很早就应用了微服务+Docker容器化技术，不仅提高了服务运维的效率，还实现了服务的动态伸缩能力。目前微博已经具备10分钟调度超过1万台的能力，可以有足够的服务器应对热点流量。
此外，微博还建立了热点监测机制和热点联动系统，并通过微博开发的微博Mesh技术，实现了不同服务间的高效跨语言调用，提升了整个服务的性能，增加了联动扩展的效率。
最后，微博采用了离线实时混合部署技术。通过结合CPU实时抢占式调度技术和容器化技术，实现微博服务的离线实时混合部署能力。
整合以上运营后，当有热流量到来时，可以秒级承接核心业务的热流量。
最后，让我们回顾一下互联网的发展。
如果说PC互联网是网络世界的开端，那么移动互联网的兴起让我们将这些看不见的信息空收入囊中。随着大数据、云计算、人工智能等技术与移动互联网的叠加和融合，我们已经进入了智能信息时代。
现在，最热门的话题是宇宙。从去年开始，元宇宙引起了广泛的讨论，比如数字双胞胎、数字人、XR、区块链科技等
王伟认为，目前基于AI、区块链、XR等前沿技术的应用场景，已经体现出了一些元宇宙的雏形。游戏、社交等领域都是超宇宙非常好的应用场景，会点燃大家参与超宇宙的热情。
《新智谈》来了！
就在今天下午，我们即将迎来“新智者谈”圆桌论坛！
在超宇宙时代，我们应该如何与大量的虚拟人相处？论坛上，新智元杨静、腾讯云蔡一戈、商汤科技栾青、英伟达何战、奥丁科技张越将与您畅聊超宇宙的未来和新数字人类。
由微博和新浪新闻联合主办的“2022新睿智大会”开幕。新智元的战略合作:于2022年7月27日星期三启动。快来预约直播吧！
