焦点
什么是3D人脸重建技术？本质上，3D数据是从2D图像合成的，或者直接进行3D扫描，然后进行人脸恢复。
重建贵吗，普通人买得起吗？大部分与外伤、肿瘤相关的面部重建手术都在医保范围内，可以惠及大众。
3D人脸重建效果如何？基本可以维持95%的恢复。
AI换脸、整形和3D人脸重建有什么关系？AI换脸侧重于二维技术的实现，整形外科更侧重于3D技术的应用，利用3D技术的一些优势来改善脸型。
3D人脸重建技术未来会应用在其他领域吗？在摄像头人脸解锁、数字人等领域都有相关技术应用的案例。
摘要
林志颖的车祸让人扼腕叹息。事故发生后，如何修复他受损的面部成为外界关注的话题之一。
好消息是，医院正在评估利用科技力量进行3D面部重建，帮助他走过事故的阴霾。
医学3D面部重建只是简单地将骨折和移位的骨段复位并重建面部。首先3D打印受伤的面部树脂结构，进行模拟复位重建，恢复面部骨性结构，用钛板固定。
据了解，这一技术在国外已经成熟，并被广泛应用于游戏、影视行业等领域。那么3D人脸重建技术的观点和玄机是什么？
以下是现场录音的精华:
01
先获取3D人脸数据，再修复人脸。
刘兴亮:林志颖遭遇车祸后，据说他的脸严重受损。幸运的是，医院传来的消息说，3D重建技术可以帮助他修复面部。首先想请王老师给我们科普一下什么是三维重建技术，目前这种技术有哪些不同的类型？*基于3DMM模型的参数化学习方法
王成杰:从计算机视觉领域来说，三维重建技术本质上是通过人脸的深度信息或2D图像，有效地恢复人脸的三维信息，最终完成人脸复原。总的来说，可以分为两种。第一个是它可以借助一些专业设备获得深度，类似于3D扫描仪之类的。另一类主要是输入一张或多张图片，通过一些算法还原出3D效果。现在从图片恢复3D的主流方式有两种，一种是传统的3DMM，一种是深度学习结合神经渲染网络。
刘兴亮:我知道一个是扫描3D，另一个是用现成的图片。三维重建技术在医学领域有哪些应用？
杰森:三维重建技术在医学上应用广泛。比如经常使用的CT检查，可以用于3D重建。一般情况下，骨折裂缝或发生某些病变时进行3D重建，可以直观地看到病变的位置和形态。另外，我们做手术设计的时候，会把3D树脂模型打印出来拼接。特别是一些肿瘤患者，肿瘤切除后会毁容。我们对它们进行修复，并使用镜像技术观察未切除的部分，以评估患者两侧的对称性。所以3D技术在我们这个领域应用广泛，日常工作中也要接触到。
刘兴亮:除了腾讯优图实验室，市场上还有哪些知名企业在研究三维重建技术，这项技术的壁垒在哪里？
王成杰:实际上，这种3D技术在很多场景中都有应用，所以有很多公司在从事这项技术的研究。比如日常生活中经常接触的扫脸、人脸识别。在登录的过程中，为了保证识别的准确性，手机的前置摄像头有3D扫描仪。此外，互动app或视频软件也会涉及3D重建。比如腾讯大会中的头饰就是复合效果，在这个过程中已经完成了3D人脸重建。
* 3D重建在腾讯大会头饰功能中的应用
此外，3D技术的应用也与影视制作有关。当我们要塑造或改变图像时，为了保持视觉的真实感，需要从3D的角度进行修剪，以获得更自然的效果。
02
如果只是骨骼受损，林志颖的外貌可以得到很好的修复。
刘兴亮:林志颖的颜值真的能通过三维重建技术恢复吗？杰森:我觉得没什么问题，因为我没见过具体的照片。我们每天看到的严重面部骨折主要有两个原因:一是交通伤，二是高处坠落伤。这主要涉及两个方面:第一个方面是骨组织的骨折，因为面部骨组织特别复杂。有上颌骨，下颌骨，颧骨，眼窝等。即使它被严重损坏，我们也会修复它。如果骨骼组织没有受损，我们基本上可以实现比较完美的解剖复位。很多情况下使用的切口也是非常隐蔽的切口，一般大多是从口入，会比较美观。最重要的是皮外伤，因为皮外伤需要修复，修复需要新组织替代，会影响美观。如果只是骨组织受损，我觉得是可以恢复的。
*林志颖受伤的现场和我的日常照片，图片来自互联网。
王成杰:那么从我的角度来看，这个问题是一个医学问题，因为我们的3D重建主要偏向于面部表面重建。本质上，在我们的学科中，它实际上不涉及内部骨组织。当我们谈到通过3D扫描设备或图像进行修复时，本质上都是皮肤表面。所以从我们的角度来看，我们可能只是为医疗过程做一些有价值的事情。
刘兴亮:你能告诉我们三维人脸重建的过程吗？成本不高，是否在我们普通人的承受范围内。
王成杰:首先，三维重建的方法有很多，但是目前主流的方法基本上都是通过机器学习来完成的。然后我们可以学习一些原始数据得到训练后的模型，后者的模型有从2D图片到3D的过程。所以尖端技术，就像现在，实际上是一种自我监督学习的方式。我们监督自己，从2D的照片到3D，然后从3D到2D。比较两张2D的照片。我们学术上称之为损失函数，然后通过这种传播方式来训练这个模型。就成本而言，如果要求高精度，肯定会有研发的门槛，其实我们团队的一些资深研究员也在努力提高这项技术的效果。现在，他们基本可以达到影视的水平。它将主要在RD阶段花费很多，但当它投入使用时，它不会花费很多。从时间上来说，也就几秒钟。
之前在计算机视觉领域的CVPR会议上发表的一篇文章就是关于这个领域的内容。现在算法框架支持任意数量的图像，一个或者两个或者三个都可以。一般来说，图片多的话效果会更好，但是输入的照片要尽量当代。
03
费用一般，医保可以报销。
刘兴亮:接下来我想问一下张医生，现在3D人脸重建手术的流程是怎样的？这个手术的成本有多高？我们普通人能消费吗？杰森:三维重建技术目前在医学上非常流行。比如骨折，我们会通过患者头部的CT观察骨折部位，将数据导出给承担3D重建任务的公司，帮我们打印出树脂模型。最后我们会参考树脂模型来模拟手术过程，将骨折部位重新组装成原来的状态。我觉得对手术很有帮助，尤其是复杂的骨折手术或者肿瘤修复重建手术，非常有用，而且不贵，老百姓肯定买得起。
现在，我们有一个专门的团队来承担骨折的手术。肿瘤方面，上颌骨或下颌骨的肿瘤切除后，我们需要修复重建其他骨骼，如腓骨、髂骨等，恢复患者的外形和功能。肿瘤切除后患者功能和生活质量的恢复至关重要。比如腹部手术后，切口后主要考虑胃肠功能。长相可能没那么重要，但是脸不一样。如果切除面部组织，就要修复缺损，让患者有一个好的外观和生活质量。
刘兴亮:在林志颖做这个手术的估计费用是多少？
杰森:因为骨折程度不明确，手术费用的定价是合理的。手术的时候，通常会用一个小小的钛板来固定骨折的断端，把断的部分铆接起来，防止松动。六个月后骨折愈合后，我们会通过手术取出小钛板。成本是根据使用钛板的数量来划分的，国产和进口的价格也不一样，要看材质。这种医疗费用也在医保范围内，老百姓也能负担得起。
04
“改变一张20岁的脸”要靠整容。
刘兴亮:目前我们的三维重建效果如何？林志颖能恢复多少？王成杰:从技术角度来看，我们会做定量评估。如果进行重建，重建后的平均误差与真实表面的误差需要达到1 mm到2 mm，这当然是一个学术指标。其实普通人可能更关心的是，重建后的模型能否通过观察三维网格重建后的形状来识别。我们之前在内部做过一轮实验。通过重建3D模型，我们让人们猜测重建的人物是谁。结果我们发现有70%到80%的概率猜对。当然这也和长相有关系，因为有些人的长相接近一般的脸，相对来说比较难猜。林志颖的脸也很有特色，重建后大部分还能辨认出来。
杰森:我觉得从医学的角度来说，我们会先把他复原，先把他的轮廓建立起来，但是更重要的是软组织的复原，因为面部下面有皮肤肌肉，尤其是面部表情肌，在修复过程中是附着的。虽然最终修复完成，但效果可能不会特别好。不过恢复95%应该没问题，但是小表情或者个别精细部位可能还是和术前有很大差别。
刘兴亮:三维重建技术我们可以通过图片建立三维模型。如果我是林志颖，我可以选择通过具体的图片恢复到二三十岁吗？这种创业技术有什么障碍吗？
王成杰:因为现在的技术本质上是接收输入的图片，只要某个时间点的照片是完整的，那么就可以根据图片进行3D复原。对于一些电视剧来说，整个故事线可能比较长，有20岁的故事线，也有40岁的故事线。我们的技术可以实现从现在的状态到20岁的迁移。如果和医学的角度相比复杂程度不在一个维度，AI技术在场景差异方面还是比较简单的。
杰森:这是个大问题。除了水平，还涉及到抗衰老的概念。我想回到20年前。虽然成年后骨骼不再发育，但主要变化是软组织，软组织受重力影响，胶原蛋白流失，皮肤下垂，皱纹等。不代表我想回20就能回20，这需要很多钱。
刘兴亮:在影视作品中，即使林志颖面部修复后有空隙，但基于后期的技术，大家去还原有问题吗？
王成杰:这种技术叫做内容生成技术，它有自己的学习能力。可以通过学习一个演员20岁时的状态来学习，包括面部结构和面部纹理。完成后可以迁移到现在的影视作品中，视觉上相当于回到了原来的样子。
05
人工智能换脸、整形与三维重建的关系
刘兴亮:现在有些电视剧用人工智能换脸来进行角色替换。你也用这种技术吗？整形手术和3D重建技术有什么区别？两者能划等号吗？王玉洁:人工智能换脸和3D人脸重建还是有区别的。现在普通的AI换脸还是能看到明显的瑕疵或者效果，不自然。有时候，五官变了，但轮廓不变。
在影视领域，对人脸相关处理技术的要求比较高，需要技术和人的配合。
随着技术的发展，3D重建技术越来越成熟，可以帮助电影人发挥想象力。有了这些技术，我们可以突破年龄变化等问题，从而专注于创意。
杰森:整形外科是一个大类，属于颌面外科。也是我们医院非常重要的科室。
现在人们生活条件改善，比如遮天或者小下巴，还有肿瘤或者疾病导致的面部偏斜，都可以通过整形手术来改善。借助3D设计模型改变患者的外貌，使之符合大众审美，增强患者的社会认同感和自信心，这种手术需要3D技术的应用。现在这种手术很流行，而且是自费做的。
06
三维重建已经广泛应用于手机、数字人等领域。
刘兴亮:今天的三维重建技术是在医疗领域。除了医学还有哪些领域可以应用？或者给我们分享一些相关的经典应用案例。王成杰:3D技术有很多应用场景。事实上，这些场景将设计出类似于部分娱乐和交互的3D应用。当然，我们的重点是影视级别的3D技术，也可以借助3D重建帮助艺术家“如何让一个胖子变瘦”。未来的算法也可以在影视作品中自动实现更多的可能性。很多时候，3D其实是隐藏在里面的，为其他显性技术提供支持。
比如手机人脸识别的解锁功能，也是通过3D扫描设备或者重建技术来实现的。手机里有3D模型。当你解锁手机的时候，两个型号会进行对比，看是不是同一个人。我们在设置人脸解锁的时候会转头，转头的过程其实就是在做3D重建。
*LAP人脸与其他人脸处理细节的3D重建效果对比
现在我们有很多技术，可能已经达到了2D的水平。如果加入3D信息，效果会明显更好。比如我们来美化或者化妆一下脸。其实在2D是可以做到的，如果引入三维重建的信息就更好了。借助3D重建技术，给演员加妆会让3D看起来更自然。
另外，整个行业有很多数字人，它的数字虚拟过程其实就是3D技术在起作用。比如我们想让数字人做一些面部表情或者嘴唇动作，背后都有3D重建和3D驱动技术。如果我们希望数字人更真实，对话更自然，这就离不开3D技术的提升。
杰森:这个数字有什么用？
王成杰:在许多行业，客服接待员的成本是存在的。客户服务通过网络处理接待。在这个过程中，真正的客服人员通过视频或语音与用户进行交流。问题是人工成本会比较高，需要的时间也比较长。但是数字人可以实现这种和真人交流的体验，不会出现资源等待或者短缺的情况。
刘兴亮:那么，在医学领域，我们还可以在哪些方面使用这种三维重建技术呢？
杰森:3D打印。通过3D打印硬组织修复人体骨缺损，当遇到不规则的修复部位时，我们需要在设计完成后，直接通过3D金属打印对假体进行贴合修复。成品非常标准，按照镜像设计。现在医学也在做髋关节、颈椎的3D打印，逐渐实现个性化发展，这也是3D打印的大趋势。而且医院还有AR、VR技术，在手术过程中提供实时辅助，满足计算机的技术要求。
刘兴亮:如果两位老师将来合作，他们能给彼此什么支持？
Jason:在人工智能学习方面，我们也做了很多研究，包括智能素描技术或者3D摄影来评估手术的程度，可以帮助我们在后期积累经验。
*基于生成对抗网络GAN和3D技术研究的AI生成内容方案
王成杰:现在人工智能可以完成很多任务。现在热门的研究概念叫做对抗性生成网络，可以完成生成任务。举个例子，比如影视领域有一个画面，中间遮挡导致内容空缺失。算法技术可以通过AI对场景的理解来弥补空缺失的部分。
如前所述，3D骨组织可以被填充，机器可能能够在未来根据过去的经验自动生成缺失的部分。腾讯优图实验室有机器学习的平台，可以根据各行业存在的一些问题，通过平台学习来解决。我们还试图将人工智能的能力推广或平台化到各行各业。比如在医学CT领域，详细信息的输入会更丰富，从AI模型学习的角度来说，会更容易。相信AI在未来可以实现Jason所希望的技术和功能支持。
