阿里云视频云发布下一代实时交互解决方案“零处理”

在云起大会2021行业视频创新与最佳实践的视频云主题论坛中，阿里云智能高级技术专家在“AliRTC开启视频交互“零处理”时代”的主题演讲中，发布了阿里云视频云的下一代实时交互解决方案——RTC“零处理”，并分享了阿里云视频云在RTC产品上的探索与实践。以下是演讲内容。

一.互动演变和挑战

过去几年视频互动产品发生了哪些变化？

我们认为，RTC产品为行业带来了两个非常重要的变化。

第一个变化是2014年开始的从图文到音视频的交互升级。

2014年，互联网创业者与RTC产品供应商探索视频互动商业化，教育娱乐成为主要突破方向。他们中的大多数人在这个时候成功地将商业和技术结合起来，基于全球互动讲座、展示视频和多人互动。

2017年是一个具有里程碑意义的时间。RTC产品帮助头部互联网客户实现了颠覆性发展，标志着互动视频技术和在线互动商业模式的成熟。

未来几年，会有更多不同体量、不同场景的规模复制，所以我们可以看到，2018年及以后的几年，市场不会出现新场景、新交互的创新，而是基于不同内容、不同客户群体的业务复制，视频交互会从头部走向更多细分市场。第二个重要的变化发生在2020年，受疫情影响，使得云视频会议全面渗透，这个时间至少提前了5年。

这种市场变化，我们不能称之为技术革命。其实对RTC产品没有新的需求，也没有新的交互场景和技术。但是，这种大规模的渗透重新定义了供应商的市场结构，让云厂商第一次成为市场中极其重要的一部分，将市场从单一的会议厂商分裂为云平台+会议终端厂商，让我们的客户有了更多的选择。从2018年到现在，我们在场景上还没有一个根本性的突破。是因为我们的技术遇到了瓶颈吗？带着这样的问题，阿里云对RTC场景技术进行了深入的技术评测。我们试图弄清楚整个行业大家的技术水平到底是怎样的。与单个视频技术不同，RTC的评估更加复杂。例如，视频编码可以通过PSNR、SSIM、VMAF等进行分析。，而视频分类等可视化算法可以通过ROC曲线进行分析。但是对于视频RTC来说，涉及到大量的主观感受，是一件比较复杂的事情。目前业内没有统一的评价标准。

我们从这些影响用户感受的指标中提取六个维度来表征RTC的性能质量。

如果你对测评感兴趣，可以关注我们的“视频云科技”微信官方账号，里面详细介绍了我们是如何进行自动化测评的。在评估过程中，我们将创建不同的网络环境来测试RTC在各个方面的性能。

我们对行业内的RTC做了一些评估，发现有两个特点。

第一，RTC有明显的技术门槛。比如绿框代表典型的RTC能力，由更小的团队研究，投入小，会有明显的差距。

第二个是几个比较大的供应商，包括阿里云，外圈的红线，蓝线，黄线。都是比较一致的水平，但是都不是特别优秀，所以技术同质化特别严重，大家基本都是一个水平。

目前我们视频的实时交互主要集中在线上线下场景，未来可能会有更广阔的应用场景，比如一些交互场景，VR操控，虚拟现实。

这个时候，我们会思考一个问题。我们的技术是否已经到了瓶颈阶段，无法满足未来更广泛的需求？这背后的原因是什么？会不会是我们的技术发展到了瓶颈？因为技术通常是一步一步发展的，如果不能突破，就会陷入一个层次。

二、“零处理”加速互动升级

我们希望分析一下，现在的用户体验是怎样的？我们现在的技术有什么问题？

通过对比各种RTC供应商，我们发现一个有趣的点，就是2/1000的卡死率很难消除。50%和60%的丢包都可以做的很好，但是如果网络带宽有限，2/1000卡顿就很难消除。

我们有一些手段可以解决类似的问题，比如窄带高清技术。我们可以通过复杂的计算或者非标准的屏幕编码技术来解决这些问题，但实际上我们很难大量使用这些技术。

根本原因是我们会发现端到端的能力是有限的，每个人的手机都不一样。有可能有的人手机特别好，能做复杂算法，有的人手机差，做不了复杂算法。同时末端碎片化严重，很难适应所有的末端。

在应用上，我们希望提供更有趣的交互，比如实时生成卡通人物，可以在终端上运行，但是只有少数非常强大的设备才能运行。一个很自然的想法就是，我们能突破现在的应用架构吗？我们已经逐渐将一个完全依赖于终端能力的架构改变为一个依赖于云和终端相互协作进行视频传输和处理的架构。基于这样的思路，我们提出了云处理+终端渲染技术，希望从云端提供强大的处理能力，终端负责渲染，这样只需要提供少量的处理能力就可以达到更好的处理效果，让大家在不同的手机上获得同样的体验。

这是视频云“零处理”解决方案的基本架构图。最后，只需要简单的视频采集和传输，然后通过我们覆盖全球的GRTN网络到达云端。云端使用GRTP的云端实时处理引擎对视频进行处理，然后将处理后的视频传输到终端，只需要简单的呈现即可。这样可以解决刚才说的客户端计算能力不足，碎片化的问题。但是天下没有免费的午餐。利用上面的结构，很容易发现几个问题。第一，我们的云能否承受这样大规模的处理。第二，云能否承担如此大规模的成本？第三，云能否持续提供这么多类型的处理服务？我们的信心来自几个方面。

一是通过阿里多年的积累，积累了业内最大的云视频处理集群，因此在技术上具备承接超大规模处理的能力。

第二，关于费用。

下图是我们处理的业务图的一个例子。横坐标是时间，纵坐标是资源使用情况，黑线是一项业务，红线是另一项业务。可以看出，每个业务都有大量的业务空空闲期，业务空空闲期让我们可以复用大量的资源。当我们混合多种业务时，我们可以利用资源。

除了时间上的混跑，我们还可以通过空和异构混跑之间的混跑来降低整体成本。

第三，因为背靠阿里巴巴集团，包括我们自己，积累了大量的视频算法处理，所以有机会持续提供丰富的算法和处理能力。

三、“零治疗”实践分享

接下来是阿里云视频云在零处理上的实践。

第一种场景是用MCU解放边计算力。

一般情况下，我们做RTC直播的时候，观众看到的直播画面都是通过RTMP协议完成的。在这种情况下，由于延迟，观众无法参与直播互动。为了增强观众的互动性，每个人都需要加入RTC网络，每个端订阅多个流的计算能力和网络流量都是很大的负担。

我们在云端通过MCU合并流，重新进入RTC会议，让观众通过RTC看到直播流，非常方便交互，同时也不需要消耗太多的终端资源。这种模式，我们称之为交互式低延迟模式，已经是我们成熟的产品能力。

第二场，云转推。

这是我们如何打通阿里内部服务能力的一个例子。通过与阿里集团安全部的合作，打通RTC通过内网的流程和安全部的产品，减少中间环节，实现低成本低延迟的内容审核。

第三个场景，云特效。

相信大家都见过这一幕。利用云处理，我们实现了一个虚拟会议室，通过云端的MCU，可以对每个人进行映射和贴图，提高视频会议中的参与体验。这是阿里已经可以在内部会议中应用和看到的技术。

上图所示的实时虚拟图像依靠GRTN实时传输网络将视频流传输到云端，云端对视频进行复杂的AI处理，如抠图、变声、漫画化等。终端只负责显示，实现端到端的零处理。

作为下一代实时交互解决方案，“零处理”在云厂商中率先推出，解决了新交互时代因端到端计算能力有限而无法实现的虚拟交互场景问题。充分利用云集成的超精细计算能力，构建具有云特效的实时虚拟场景，是全面开辟沉浸式交互新世界的重要进化。