机器心脏报告
编辑:泽南
每个厂商都有自己的AI芯片，但华为率先实现了从芯片到应用再到云服务的高度协同。
手机上的NPU推出四年了，时间不短。人工智能的应用怎么样？现在很多手机芯片都有AI运算单元，每个人都可以有自己的答案。然而，使用华为手机的人往往会获得比其他用户更好的体验:他们的手机信号更强，能效比均衡，各种AI功能集成到系统中，提供便利。
华为的产品也支持最新的AI算法。你可能会发现，同一个App在华为手机上也有一些独家的能力，比如实时视频超分辨率、视频风格迁移、本地化输入法预测等等。
时至今日，人工智能已经不是元宇宙那样遥远的概念，而是已经被每天数亿人广泛使用的普适技术。它甚至改变了许多人打开应用程序的方式。
这些AI技术的效果超出了人们最初的想象。
观看低清晰度流量的“高清视频”。
我们对“视频超分辨率”的印象大多还停留在英伟达GPU对游戏大作的帧率加成上。自RTX系列显卡诞生以来，深度学习过采样技术DLSS极大地改善了玩家的游戏体验。这项技术可以通过深度学习，将低分辨率图像自动“脑补”成高分辨率图像。在输出4K分辨率的图像时，只需要生成1080P的图像，然后由AI进行转换，可以减轻显卡的负担，提高效率。
游戏有了很大的改进。可以用手机看短视频和直播来添加超清效果吗？华为HiAI Foundation已经让很多应用实现了这种能力。
“在超分辨率任务上，传统算法需要CPU和GPU对图像进行二次处理计算，功耗极高，效果就像‘亮一点’，并不明显，”华为技术专家说。“如果要解决算力、IO、功耗的问题，需要结合华为HiAI基础和NPU。我们和很多厂商合作，在目前主流的App上集成了画质增强功能。」
原图对比，AI超分辨率算法，低分辨率+锐化处理。
今年3月，爱奇艺App最新版本中，爱奇艺与华为HiAI基金会合作，率先为NPU机型的应用提供“增强画质”功能。该功能允许视频在480P分辨率播放期间体验更高清晰度的视觉效果，同时保持相同的流量消耗。
该功能适用于Nova 6到Mate 40系列的几款华为机型。
开启画质增强功能后，480P及以下的视频可以秒变高清，大致相当于1080P的水平。
“增强画质”是基于爱奇艺自研超分算法部署在麒麟芯片NPU引擎和华为HiAI基础上的功能，可以显著提升画面轮廓清晰度、画面透明度和色彩饱和度。
通过该能力，手机可以在本地完成实时视频画质增强处理，在不影响帧率的情况下，将清晰度提高两倍，有效解决了视频播放卡顿的问题。在地铁、高铁等信号较弱、网络不畅的场景下，也可以观看高清视频。
在爱奇艺、优酷等主流视频App平台上，华为HiAI Foundation的超分辨率性能最高可提升80%，功耗最高可降低45%。
在手机上实现异构计算
除了图像技术，还可以在手机上直接运行完整的输入法预测模型。比如在华为版输入法中，其中使用的AI算法结构复杂，但工程师通过任务拆分，将模型推理的计算工作分配给NPU和CPU进行异构计算，并做了终极优化，将输入法的预测任务完全从云端转移到手机上。
语音的语义模型技术相对较新，其结构也非常复杂，最近的许多AI应用也是如此。从最早的CNN和LSTM到最近流行的Transformer结构，人们对AI专用计算单元计算能力的需求正在迅速增加。另一方面，不同厂商的硬件明显不同，AI计算的架构也在不断演进。如何充分利用计算能力是开发者面临的挑战。
芯片上的CPU、GPU、NPU共同参与AI计算是目前的发展趋势。“如果在语音语义服务中以异构模式运行模型推理，其性能将比单个NPU或单个CPU提高40%以上，许多服务适合以异构模式运行，”华为技术专家表示。“NPU擅长处理CNN等经典神经网络，但最近在业界应用的网络类型变化很快。许多新模型通过使用CPU和NPU联合计算可以实现更高的效率。」
华为提供的工具可以大大提高AI算法的运行效率，Aauto Quicker和Tik Tok也从中受益:接入华为HiAI基金会后，两款短视频应用的模型精度得到提升，充分利用计算能力实现了更真实的AI特效，增加了业务场景。
对于应用开发者来说，不需要训练特殊的算法或者重新构建一个app就可以接入异构的计算能力。只需要调用几个接口就可以了。如果开发者使用的机器学习平台接入华为HiAI基金会，这个过程甚至可以无感，开发者无需任何操作就可以获得麒麟芯片AI计算能力的优化。
原生AI加速，每天运行超过600亿次。
为开发者打开新世界大门的华为HiAI基金会，是麒麟芯片AI算力开放平台，目标是全面开放NPU能力。它可以自动将开发者手中的AI模型轻量化为移动版，集成到APP中，获得手机芯片异构计算能力的原生优化加速。
2017年9月，华为发布了首款自带神经网络计算单元NPU的移动芯片麒麟970。2018年3月，华为HiAI基金会发布。华为HiAI Foundation经过几年的发展，已经从只支持手机扩展到全场景硬件，而且还可以一次开发运行多个端。在计算能力上，可以配合NPU/CPU/GPU/DSP实现异构计算，大大提高了效率。
在最新版本的华为HiAI Foundation中，新增了三项能力:提供端云协作，实现AI模型的性能优化和快速升级；开放modelzoo，为开发者提供更多可选的模型结构；还有一个模型量化工具包，可以快速压缩App中AI模型的体积。
经过几代人的不断打磨，华为HiAI Foundation的兼容性和可用性已经相当成熟。众所周知的鸿蒙系统操作系统拥有超过1.5亿用户，是有史以来增长最快的终端操作系统。华为HiAI Foundation作为麒麟芯片算力开放平台，应用范围前所未有，日调用量高达600亿次。
相比TensorFlow Lite GPU、Android NN等端到端AI计算生态，华为HiAI Foundation已经成为业界最受欢迎的AI架构，领先范围越来越大。
日均10亿次调用，意味着大量智能服务正在被端到端应用，充分发挥麒麟芯片的AI计算能力，为用户带来前所未有的体验。随着AI生态的不断进化，技术应用的经验也将为未来的完善打下基础，助力下一代芯片的研发。
黑科技:端云协作
仅仅为了方便开发和体验好是不够的。相比高通、联发科等公司提出的工具，华为的优势在于“端云协同”。
深度学习算法由很多计算单元组成，我们称之为算子。广义来说，对任何函数的运算都可以看作是算子。在深度学习的框架中，算子对应层的计算逻辑，比如卷积层的卷积算法，是一个算子；整个连接层中的权重求和过程也是一个算子。
对于构建人工智能应用，运营商提高了效率。但是大部分手机里的运营商库都是集成到系统里的，添加新功能还得等几个月手机系统的更新。这就是很多新的AI算法难以实现的原因。
华为HiAI基金会选择将运营商库放在云端。当有新开发的运营商时，只需要对比旧的运营商库，将更新的运营商下载到手机上，就可以让所有的手机都支持新的技术。这种端云协作不仅提高了开发者的工作效率，也扩大了应用范围。运营商更新的频率可以和app更新的速度同步。
相比之下，其他厂商发布的深度学习框架的算子更新速度通常是以年为单位的。
华为HiAI Foundation作为底层硬件的计算能力和应用之间的桥梁，目前支持300多家通用运营商，TensorFlow、PyTorch等主流深度学习框架，国内开源深度学习平台，以及多家厂商的自用框架。从麒麟810到麒麟9000的硬件支持——全部芯片内置华为自研NPU。
从一篇顶级会议论文到手机App，AI新技术的引入是一个复杂的工程过程，需要保证性能和功能需求，进行多轮优化。因为海思和华为终端联合运营，芯片厂商和开发者直接在华为HiAI基础上合作，确实可以在一些关键问题上达到最好的效果，这是其他竞争对手无法比拟的。
把更多的AI搬到手机上
华为HiAI基金会未来的发展方向是让移动AI模式更简单、更安全、更节能，构建全面开放的智能生态，让开发者快速利用华为强大的AI处理能力，为用户提供更好的智能应用体验。
机器学习模型在初期研究阶段可能需要Titan GPU进行训练，A40进行推理。谷歌的使机器学习能够“阅读和理解”的BERT模型，刚发布时就达到了500MB。而在手机App上，自然语言处理模型只有50-100 MB空之间，模型必须大幅度压缩。
华为HiAI Foundation的NAS模型搜索技术，可以让开发者将自己的模型和数据集作为参数提交给工具，然后自动搜索可以在端侧运行的、与原模型具有相同效果的模型。目前，这项技术主要面向图像识别、分类、检测等任务。在指定的任务中，可以自动搜索效率最好的模型，搜索结果在NPU上可以达到最好的性能和功耗比。
另一方面，华为HiAI基金会提供的端到端计算能力，让很多原本不得不部署在云端的算法落在了本地。所有数据形成闭环，业务数据、照片、语音信息等敏感内容不离开用户，保障数据安全。越来越多的端到端AI将继续加强这一趋势。
未来各种应用对AI的需求会越来越拥挤，华为会继续努力为麒麟芯片带来更多价值。
2021年，中国网民人均安装手机app总数为66个，人均每天使用app时长已经超过5.1小时，这是一个前所未有的数字。人工智能技术带来的便利是手机承担越来越多任务的原因之一。
还记得2017年，华为发布首款搭载NPU的芯片麒麟970时，很多人问“它能做什么？现在，问题变成了，“麒麟芯片也能做到这一点吗？" 」
昨天人家开的脑洞，已经被华为HiAI基金会一步步实现了。
