从31元，7元，到1元，8月，QCon全球软件开发大会首次登陆广州。对“数字化”、“云原生”、“本地化”三个关键词进行了探讨和分享，并对实时交互技术的实践、人工智能的前沿应用、Web在3.0元中的基础架构等热点话题进行了深入分析。关注【融云全球互联网传播云】了解更多。
QCon融云技术专场聚焦音视频架构实践，副主席兼首席科学家任杰担任制作人。RTC服务中心经理谢、音视频架构师田润军、音频算法工程师沙分别就“RTC服务质量可观测保障体系设计”、“RTC弱网对策技术分享”、“AI降噪技术探索与应用”等主题进行分享。
曹政奭金惠妍人力资源中心服务质量可观测保证体系设计
实时音视频数据从发送端采集、预处理、编码发送，到接收端解码、后处理、渲染，这是典型的RTC数据处理过程。这个过程是线性安排的，由此带来的麻烦是，一旦某个环节出了问题，后续所有环节的质量都会受到影响，就像一根“水管”。哪个地方堵了，水流就堵了。
在音视频服务过程中，最常见的问题如下:
影响质量的环节多，场景复杂，难以定位问题；
缺乏评价手段和统一标准，无法衡量效果；
开发人员和测试人员对质量理解的差异导致沟通成本高；
传统的测试过程长，效率低。
针对这些问题，业内有一些常用的评价指标，主要分为主观指标和客观指标两大类。
最具代表性的主观指标是MOS。其优点是精度高，缺点是实施成本高、可重复性差、无法批量评估。
所以我们希望用机器代替人工操作，用数学模型通过一些评价标准来量化音视频质量。其准确性依赖于评价的数学模型，重复性高，评价规模大。
典型的客观评价方法主要有两种:完全参照和无参照。
没有歧义、块状等提法。优点是只需要接收者的数据；缺点是判断力较弱，无法定位系统内外的问题。比如最后的结果图效果不好，无法判断是来源本身不好还是处理过程中有问题。
完整的参考，如PSNR，VMAF等。，具有技术操作性好，可频繁重复，可精确再现，便于快速定位的优点；缺点是需要双方的数据，原始图像和目标图像必须严格比对。
融云RTC服务质量可观测保障体系的具体设计及相关实践成果，请关注【融云全球互联网传播云】，后台回复【质检】查看完整课件。
Kim Hye Yoon/HR/曹政奭RTC弱网对策技术分享
先进的技术在给在线场景带来巨大增长的同时，也面临着用户越来越高的体验要求，延迟更低，画质更高，更流畅。
用户体验的这三个影响因素对应着RTC的三个核心指标，即实时性、清晰度和流畅度。
三者之中，鱼与熊掌不可兼得。
为了既重要又必要，我们通常需要通过网络传输优化来追求更低的延迟、更高的清晰度和流畅度。
网络弱是造成拥塞、丢包、时延抖动等影响用户体验问题的主要因素。弱网络对抗技术是这些问题和其他网络破坏问题的技术解决方案。
由于网络环境的复杂性和异构性，上述弱网络问题的严重程度在不同的环境中差异很大。如何保证用户在复杂网络环境下的顺畅通信一直是RTC领域的关键问题。
针对这三个问题的相应解决方案和融云的最佳实践，关注【融云全球互联网传播云】，后台回复【弱网对抗】，获取完整课件。
金惠允/HR/曹政奭AI降噪技术的探索与应用
降噪技术发展了很多年，每个阶段都会有一些典型的算法和重要的技术突破。比如早期的线性滤波法，一般的减法，后来的统计模型算法，sub/Kim Hye Yoon/K0/曹政奭算法。近年来，基于深度学习的降噪算法发展迅速，即AI降噪算法。主要是基于幅度谱的深度学习算法，基于复谱的深度学习算法，后来是基于时域信号的深度学习算法。
传统上，研究者总结噪声规律进行建模，然后实施背景噪声处理，主要包括线性滤波、谱减法、统计模型算法和su B-/Kim Hye Yoon/K0/曹政奭算法。
这些算法难以估计和处理非平稳噪声。所以我们需要引入AI降噪，进一步提升降噪性能。
AI降噪算法将含噪语音输入特征提取后的训练好的神经网络，得到去噪后的增强语音。其本质是利用神经网络模型来学习语音和噪声的特性和区别，从而去除噪声，保留语音。
AI降噪主要研究三个方面。
一是模型模型，从最早的网络发展到后来的网络，再到后来的CNN网络、GAN网络和最近的Transformer，是随着深度学习模型的发展而发展的。
然后是训练目的，一般分为两类:蒙版类和贴图类。
最后是损失函数。
那么AI降噪主要有哪些类型呢？传统降噪和AI降噪对比实验结果如何？融云在这方面的实际效果如何？关注【融云全球互联网传播云】，后台回复【AI降噪】，获取完整课件。
