生物进化的速度需要数百万年才能计算出来,而人工智能却在以肉眼可见的速度进化。
半个世纪前,当人类需要用一台1270公斤重的电脑来对抗国际象棋大师时,没有想到半个世纪后的王者荣耀,AI也能进化到职业电竞的水平。这就是王者AI的荣耀——《绝武》,模仿线下玩家的游戏样本。为了突破上限,它采用了AI自玩的强化学习,然后在“绝武挑战”中检验自己的实力。

《王者荣耀》执行制片人、腾讯梅田L1工作室总经理黄在首届科技联席会议上表示,“绝武”是一个多智能体系统,即大量能够独立决策的AI协同工作,实现一个共同的、具有挑战性的目标。
更重要的是,王者荣耀团队开放了王者核心机制,与腾讯AI Lab、相关高校和研究机构共同进行多智能体研究。“期待这些研究成果能够在其他工业环境中落地,为工业机器人和救灾机器人提供帮助”。
在王者荣耀做前沿AI研究
多智能体系统作为前沿人工智能技术的核心研究领域,经过多年的研究,已经广泛应用于各个行业。比如无人仓储,多智能体机器人完成庞大的仓储管理;智能交通中的智能车辆基础设施合作系统,无人驾驶;智能工业机器人、物联网等领域。多智能体技术可以很好地应用于提高生产效率。
王者荣耀团队在游戏研发过程中发现,MOBA游戏机制多人合作性强,不对称信息下的game 空很棒,合作竞争性强,非常适合使用多智能体人工智能技术提高生产和测试效率。
比如王者荣耀产品中的视野不是全局的,敌我双方的实时位置和状态能量信息不是理想透明的,游戏测试环境可以提供丰富的数据和模拟场景,为模仿学习的学习提供了保障;自然的分层结构在高层对应全局,在低层对应微观操作,适合分层强化学习研究。
如果AI技术能够在如此复杂的环境中学会实时感知、分析、理解、推理、决策和行动,那么它可能会在多变复杂的现实环境中发挥更大的作用。
在此背景下,基于王者荣耀游戏的特点,王者荣耀团队与腾讯AI Lab合作,在王者继续开展人工智能相关技术研究和应用实践,研发了多智能体产品“绝武”。
让AI学会像人一样做决策。
“觉悟”这个名字的意思是极好的理解力。其技术研发始于2017年,并于2018年12月通过了顶级业余水平测试。
在2019年8月2日吉隆坡举行的王者荣耀冠军杯半决赛特别环节中,《绝武》在职业选手分区战队带来的5v5水平测试中胜出,在王者荣耀中升级为电竞职业水平。
与此同时,《绝武》1v1版本也在上海举办的国际数码互动娱乐展ChinaJoy上首次亮相,开启了为期四天的顶级业余玩家体验测试。在四天的2100次测试中,“绝无”测试的胜率为99.81%,只有四次测试失败。

描述职业AI玩王者荣耀的场景——多智能体不完全信息下的合作零和即时博弈。一般来说,AI要在信息不完全、复杂度高的情况下做出复杂快速的决策。
在一张信息不完全的巨幅地图上,10个参与者在战略规划、英雄选择、技能应用、路径探索、团队合作等方面都要面对大量不间断的即时选择,带来了极其复杂的局面。估计有两万种高达10的运算可能性,整个宇宙的原子总数只有10的80次方。
“绝武”可以从没有人类数据的白板学习开始,和自己对抗。像个婴儿一样,一点一点学会了玩王者荣耀。更令人惊讶的是,在训练后期,AI甚至摸索出了一套不同于人类常规做法的新策略。“比如《绝无》往往会吸引很多人来吃线头,从而实现经济最大化”。
在王者本人的实战层面,玩家可以在限定时间内,在公开的“绝武”挑战中体验AI的能力。当队友掉线时,也可以将掉线的队友委托给AI托管。但是AI并不能主导游戏,胜负的决定权还是在每个玩家手里。况且绝无只是在实验室环境下投入使用。
在新的英雄设计和游戏价值调整中,“绝武”也发挥了重要作用,提供AI最终探索出的游戏玩法和胜率作为参考,辅助规划和优化游戏设计。
在2020年11月的一次平衡调整中,国王队希望增强公孙离的实力。《绝武》模拟了调整后的公孙离,显示改动后胜率为+2.42个百分点,但有体验服玩家认为会严重削弱公孙离。对此,国王团队验证了调整项的拆分和放大,分析了每次变化对实力的贡献比例,确认了相关平衡调整会强化公孙离。最终启动后,公孙离的胜率为+2.33个百分点,符合预期。
从“绝对启蒙”到开放的“启蒙”
经过实践验证,王者荣耀和腾讯AI Lab团队将开放多智能体研究过程中沉淀的技术资产,搭建启蒙开放平台,向用户低成本搭建多智能体人工智能算法研究、教学和验证的科研教学平台,利用王者核心技术搭建。
“我们开放了王者核心机制,提供标准接口、核心算法、脱敏训练数据、评测工具和计算集群等。,供师生进行多智能体机器学习算法研究,交流学习结果,反复迭代升级算法结果。未来还可以提供给其他有需求的研究机构,进行更接近产业化场景的研究。”《王者荣耀》执行制片人、腾讯L1工作室总经理黄说。
2020年,王者荣耀联合腾讯AI Lab、腾讯大学合作、腾讯游戏大学举办了首届“王者荣耀启蒙AI+游戏大赛”。邀请了中国科学院、清华大学、北京大学、中国科学技术大学、电子科技大学、哈尔滨工业大学、国防大学、浙江大学等18所头部高校的师生在启迪平台进行学术研究与交流,并提供全方位的资源支持。
“多个代理人很难学会合作。既要设定每个代理的目标,又要分清主辅关系。实现如此复杂的设计成本很高。”中国科学院自动化研究所的邢团队提出了一个自我提升强化学习框架,让智能体先通过模仿学习,再通过自我交互进化。再加上他们提出的一种新策略,可以有效缓解多元智能学习中的一些常见问题。
经过一年的实践,活动取得了良好的效果,验证了王者荣耀游戏环境中人工智能技术赋能的思路。

助力产学研共享AI+游戏新生态
《王者荣耀》执行制片人、腾讯梅田L1工作室总经理黄在首届科技联席会议上宣布成立“多智能体人工智能科研教学联盟”,将与国内头部高校共同搭建平台,赋能更多高校师生,为有志于包括多智能体技术在内的人工智能研究的师生和产业伙伴提供低门槛、丰富、稳定、可靠的学术研究和交流场景。
腾讯AI实验室总经理杨威表示:“启迪还将在2021年向全球高校开放,扩大国际影响力,进一步延伸平台承载能力,促进AI与教育的融合,提高学生的创造力和研究能力,为生态贡献跨学科技术、跨界人才和多元资源。"
腾讯游戏副总裁、腾讯游戏学院院长夏琳表示,“人工智能是国家的重大战略。腾讯游戏学院与其他高校深度融合,专注培养AI+游戏新技术人才。同时,专注于《王者荣耀》等游戏AI领域的科研,与国内外重点高校、国家重点实验室不断产出有价值的科研成果,人工智能将在中国持续发展,未来可期。”
在这个人类与科技相互拥抱的时代,王者荣耀不断投入学习,从0到1进化AI,发展出一套合理的行为模式。从短期来看,中间的经验、方法和结论可以直接对游戏行业和电竞行业产生推动和帮助,有望对广泛的领域产生深远的影响,如医疗、制造、无人驾驶、农业、智慧城市等。从长远来看,AI+游戏的研究将推动AI终极目标——通用人工智能的探索和发展。


