自2017年向全球开放自动驾驶平台以来,Apollo从1.0到5.5一共经历了八次迭代升级。今年9月15日,世界2020发布了全新版本的Apollo 6.0,包括算法模块、集成无人驾驶相关内容、主要开发工具和依赖库、数据管道服务增强云服务联动、V2X车路协作方案等五个方面的升级。
感知模块作为自动驾驶过程的信息接收器,是自动驾驶车辆的“眼睛”,其性能直接决定了自动驾驶系统是否准确可靠。Apollo 6.0在传感模块上升级了算法,采用了基于PointPillars的lidar点云检测算法,检测频率比SECOND提高了3倍,对于车辆、行人、自行车等常见道路要素也提高了识别精度。

11月,阿波罗6.0公开课第二讲由RD高级工程师陈嘉豪主讲,主题为“阿波罗6.0激光雷达传感技术分析”。现场讲解了基于点柱的激光雷达点云检测算法以及点柱模型的部署和优化。
今天阿博君就带大家回顾一下陈老师的精彩演绎。参与直播课的童鞋可以再次回顾阿波罗6.0全新升级的技术要点;错过了当天直播课程的童鞋千万不要错过今天的内容回顾!
享受以下
本次分享主要包括以下三个部分:
第一部分介绍了阿波罗6.0激光雷达传感模块的结构。第二部分阐述了本模块中使用的核心算法PointPillars的原理和改进。最后一部分是PointPillars模型在Apollo系统中运行时的部署和优化。第一部分包括几个内容,包括激光雷达的简介、激光雷达传感模块的组成以及三维障碍物探测的过程。
当我们开车时,我们用眼睛看周围车辆的位置和方向。光学传感器是自动驾驶的眼睛,获取环境信息的过程是感知。在这些传感器中,激光雷达,或称激光雷达,是一种光学遥感技术。通过向目标发射激光束,获得目标的距离、方位、高度等参数信息。它是一种高精度、高分辨率的传感器,测距能量非常精确,探测范围比较大。因为非常可靠,所以基于激光雷达传感器的自动驾驶感知方案是现在最常用的方案。
Apollo支持多种激光雷达产品,如威力登、何塞、innovusion等。上图是威力登的系列产品,有128线、64线、32线和16线。激光雷达是通过不断旋转激光发射器来获得最终完整的帧云图像。这些产品都支持360度旋转,也就是说单个激光雷达就可以获取车身周围的点云。
上图是车上摄像头拍摄的车头图像,以及通过阿波罗的Dreamview模拟界面显示的多彩点云效果。你只要通过这张云图就可以清楚的判断出这些点是什么障碍物,呈现出来的效果就像是3D模型。
上图是Apollo6.0感知模块的组成,由摄像头、激光雷达、雷达三种传感器组成。lidar是激光雷达,雷达是毫米波雷达,而红绿灯检测是利用摄像头感知,结合高精地图,获取当前交通信号。障碍物检测以激光雷达感知为主,摄像头感知为辅,最终输出的是带有类型、距离、速度信息的目标障碍物。在该图中,从摄像机获取图像后,对图像进行预处理,然后同时执行车道检测和障碍物检测两项任务。车道检测只能通过摄像头来完成,因为车道线没有突出的轮廓,激光雷达无法采集到车道线的点。在检测到车道线后,提供一个校准参考,使得摄像机检测到的障碍物从2d到3d的转换更加准确。最后,完成了摄像机的目标跟踪。但即便如此,激光雷达的感知探测效果还是比流程短得多的激光雷达差很多。激光雷达感知过程只需要一条路径,无需考虑其他变换。而且激光雷达感知的准确性和实时性直接决定了自动驾驶汽车感知的障碍物信息是否准确可靠。
在激光传感的过程中,从点云数据中,我们首先对点云做一些必要的预处理,比如去除一些离群点,只截取一定范围内的点云。然后在点云上做目标检测,输出带有位置信息的障碍物,然后做目标跟踪。结合上一帧的障碍物信息,用跟踪id标记这些障碍物,判断障碍物的速度和方向。最后,综合其他传感器的检测结果,将检测到的障碍物信息输出到下游模块。阿波罗6.0激光雷达感知的特点可以总结为两点。首先,它使用了一种新的算法,PointPillars模型,检测准确,检测速度快。整体感知为10Hz输出,实时可靠。
障碍物检测算法的原理可以概括为:一种编解码结构。这是左边的点云。通过编码,可以转化为算法可以理解的更抽象的特征数据,然后提取关键特征,解码成我们需要的障碍物的包围盒,就是右图中的那些绿盒。

- PointPillars模型-激光感应模块中使用的核心算法。PointPillars模型是一种三维障碍物检测算法,仅利用点云数据,无需图像等其他传感器的数据,就能快速、良好地得到最终的检测结果。这部分也分为三块,首先是基于体素的3D物体检测。
这个体素网,是2017年提出的3D检测论文,对点云检测方法的突破具有重要意义。因为在此之前做3D目标检测,大部分的点云处理都是想办法把点云压缩成BEV图,也就是鸟瞰图/鸟瞰图/俯视图。比如直接从BEV透视点云的投影,或者不同高度点云的投影,或者其他一些编码方法把点云转换成一些2D图像。但是这些对点云的变换都是有损压缩,丢失了点云中包含的原始信息。因此,为了弥补这种损失,需要添加其他传感器的图像数据,如摄像头,来做多传感器目标检测,以达到更好的检测效果。然而,体素网不使用其他传感器,而只使用激光雷达点云数据,实现了比以前的方法更高的检测精度。体素网的原理是将点云栅格化,即将点云划分成大小相同的小网格,先提取每个网格的初步特征,然后利用三维卷积逐层提取特征,得到BEV特征图,再利用一个RPN网络对这个二维BEV特征图进行处理,输出最终的三维目标帧。体素网在将点云转换为BEV的过程中并没有直接丢弃原始信息,因此仅利用Lidar点云数据就可以大大提高检测效果。但是体素网也有缺点。点云转换中使用的3D卷积非常耗时,占用内存太多。
PointPillars很好的解决了这个问题。它是2018年提出的算法,并于2019年在CVPR会议上发表。点柱模型基于体素网,去除了3D卷积,只使用2D卷积。不仅检测精度和体素网差不多,推理速度也快了很多倍。可以说PointPillars是对Voxelnet的改进。
PointPillars的网络结构图,它和VoxelNet最大的区别是点云转化为BEV特征图的过程。PointPillars并不是把点云分成小网格,而是按照x-y平面的网格,分成垂直的列,即柱子。接下来,只要把每一根柱子转换成一个特征向量,整个点云就转换成一个多通道的二维BEV特征图。在后面使用改进的RPN网络,输出最终的3D目标检测帧。因为体素网的栅格化是三维网格,需要三维卷积,而点柱的网格是二维的,所以只需要二维卷积。所以模型比较轻量,推理速度很快。总结两个特点:速度快,车型轻。对于自动驾驶来说,时间就是生命,车辆的反应时间必须很短,实时性很重要,所以我们选择PointPillars模型作为Apollo 6.0激光雷达感知的检测算法。
在全连接层和元素层进行最大池操作后,柱子中的点被转换成全局特征,即表示柱子的特征向量。这个过程实际上是将体素网转化为体素网的过程的简化。在得到体素网的全局特征后,体素网还需要将全局特征与输入点特征连接起来,然后整个过程重复几次,最后用全局特征来表示体素。所以这里的点柱简化就是这里连接体素网的过程,可以节省一些计算时间。
点柱的原始模型使用焦点损失作为分类的损失函数,焦点损失的提出是为了缓解分类任务中正负样本比例的不平衡。该公式通过两个参数α和γ来调整损失函数。但在我们的实际测试中发现,改为加权softmax损失后,泛化能力其实更好,检测效果也有所提高。
第二个改进是在柱子特征编码部分,左边的结构是原来的,右边的是改进的。当我们得到点的特征时,它原本包括点的X,Y,Z坐标和反射率,当然也可能有其他特征。这里我们先做一个半径替换,也就是先做一个初始变换,然后再做下面的操作,把整个图层连接起来。
右图中,坐标系的原点是车上的激光雷达传感器,然后还有X和Y两个方向。点的原始特征一般包括点的X、Y、Z坐标和反射率。这里先算半径,是X和Y的第二范数,也就是x-y平面上离原点的距离。然后用距离半径代替点的x、y坐标,加入其他特征,形成点扩展后的特征。这是因为激光雷达点云是由圆形的点组成的。另外,在BEV目标检测中,X和Y相等,所以用半径代替X和Y,作为基本特征。
RPN是最初在用于2D目标检测的fast-rcnn算法中提出的一种编解码网络。它预先在网格点上设置初始检测帧,然后对应特征图。经过后续处理后,候选帧包含目标的概率分值和目标的类别。最后,从这些候选帧中选择最终的目标检测帧。且那些初始候选框被锚定。在2D目标检测中,由于同一目标在不同拍摄角度的图像上具有不同的大小,因此需要设置多个锚,不同大小和不同纵横比的锚,以尽可能地覆盖匹配图像中的目标。
但在自动驾驶3D目标检测中,由于使用的是点云数据,同一目标往往大小相近,甚至长宽高都差不多。举个例子,我们在这张图中可以看到,停在路边的车,大小都非常相似。而且与相机拍摄的图像以像素为距离单位不同,点云直接就是真实的物理距离。我们以厘米甚至毫米为单位,不需要考虑多分辨率。因此,将三维点云目标检测转化为BEV的目标检测任务后,实际上ancho在一开始设置检测框架时只需要考虑BEV平面上的目标方位即可。但是,一些类别,如行人行人和交通锥交通锥,从BEV角度来看,纵横比接近1:1,因此只需要一个锚点。对于轿车和卡车这两个类别,如右图所示,你需要设置两个0度和90度方向的锚点,以尽可能地覆盖可能的方向。可能有人会问,多一个主播不是更好吗?不会,通过我们的测试,多设置一个45度角的锚并没有带来什么变化,但还是消耗了更多的运行时间、内存和显存。所以对于长宽比明显较大的类别,使用两个锚,而对于长宽比接近1比1的类别,一个锚就够了。
多头是RPN的另一个改进。Apollo的pointpillars模型支持9个类别,其中4个比较大,包括car-car、truck-truck、buses、construction _ vehicle-engineering vehicle,另外5个比较小,包括步行者-步行者、自行车-自行车、摩托车-自行车。它们在BEV图上大小不同,所以这些类别应该分开。首先,神经网络输出最终结果的部分叫做头部。比如这里,在得到最终的特征图后,用一个卷积层输出目标的每一类的概率得分,以及检测框的包围盒参数的回归值,包括检测框中心点的X,y,z坐标,框的长,宽,高,框与x-y平面上X轴正方向的夹角,方向,车头是朝前还是朝后。对于尺寸类别,RPN使用两个头输出大类别或小类别的最终检测框,其中小个头之前使用两个卷积块,每个卷积块由若干卷积层叠加,Batch norm和Relu,第一个卷积块由尺寸类别共享,因为随着卷积层的逐渐深入,每层的输出特征会变得更加抽象,包含越来越多的全局语义信息。卷积块可以输出的第一个特征图相比后面的特征更细粒度,更完整地保留了小目标的信息。所以我们只需要在小头前加第二个卷积块进行调整,就足以提取出我们需要的小目标检测框的信息。但是,由于大目标的尺寸要大得多,需要更多的全局特征,所以最长的链接叠加了三个卷积块来提取特征。这里需要注意的是,我们用三条路线输出的特征拼接在一起,对应从局部到全局的三个阶段的特征,可以包含更丰富更完整的语义信息,使最终大目标的检测框的长、宽、高、位置、方位更加准确。

经过这些改进,我们可以看到PointPillars模型的检测效果是左边是车载摄像头的透视图,右边是俯视图的透视图。这是在等红绿灯的时候,一大堆行人经过,但是互相挡住了。准确探测每个目标并不容易。
在Apollo 6.0中,使用了一个比较新的框架,叫做ONNX,这是一种中间表达格式,可以迁移很多主流深度学习框架中的模型。简单来说,这些深度学习框架训练出来的模型,无论是使用pytorch、tensorflow、caffe还是PaddlePaddle,都可以转换成ONNX格式。然后我们会把ONNX格式的模型转换成TensorRT,用TensorRT做线上感染。TensorRT可能很多同学都很熟悉。它是一个致力于加速深度学习模型信息的框架,甚至在GPU层面进行了优化和加速。ONNX转TensorRT的方案有什么好处?有两点。首先,ONNX将离线模型训练与在线模型信息分离。在没有使用ONNX中间框架的时候,就要考虑如何把训练框架转换成线上的,让训练框架和信息框架真正绑定在一起。当你想改变训练框架的时候,会涉及到很多修改,甚至因为无法转换成信息框架,所以需要改变信息框架。有了ONNX,可以随时切换训练框架,在线信息部分甚至不需要更改。
ONNX-TensorRT方案的第二个优点是转换过程方便简单。首先从训练好的模型转换成ONNX格式。这里以PyTorch为例。其他框架和ONNX类似,PyTorch中只需要调用一个导出函数就可以成功转换。第二步,将转换后的onnx模型转换成tensorrt,其实很简单。在tensorrt中创建onnx解析器后,可以通过用这个解析器调用parseFromFile函数来解析onnx模型文件。将神经网络的定义读入tensorrt,然后继续创建tensorrt的引擎,执行的上下文,最后是影响。您只需要调用一个上下文的enqueue函数,就可以对模型的输入数据产生影响。总的来说,把模型转到onnx再转到tensorrt的两个好处是:训练与推理解耦,转换过程非常简单,维护相对容易。
Apollo 6.0中的PointPillars模型就是在线感染的过程。从点云预处理到生成锚掩膜,总共有六个步骤。这一步主要是去除一些锚点,这些锚点超出了预设的点云范围。下一步是pfe,它从柱子中的点提取特征。柱子特征从这一层出来,接着是散点操作。这一步是根据BEV平面上柱子的原始坐标将柱子特征映射回来。然后是RPN网络部分,输出候选检测框和对应的分值。最后,进行后处理,用nms算法筛选这些候选盒子,去掉得分值小于阈值的盒子,最后输出检测结果。图中绿色步骤由cuda实现,而只有pfe和rpn的加权部分由onnx到tensorrt实现。如前所述,pfe的第一层是扩展点要素的过程。这一步没有需要训练的参数,可以直接用cuda实现。相比整个pfe转换成onnx的方式,在1080 GPU下会节省一半的运行时间。
还有一个时间上的大优化,就是利用tensorrt的批处理加速。tensorrt实际上更完全地平行于dim4类型的数据,也称为dimNCHW。n代表批量,C代表通道,H代表高度,高度,W代表宽度。在实际测试中,只要将原始数据,比如dim3的数据,在不实际改变真实排列的情况下,扩展一个维度到dim3,就可以立即完全并行,而DIM3的原始数据输入和操作并不是完全并行的。但这里需要注意的是,第一维度是输入输出维度的排列,第一维度必须是batchsize。其次,只有当你的数据第一个维度是真正并行的,N个元素是独立计算,相互独立的,才能通过扩展维度到dim4来进行批量并行加速。前面提到的pfe就是这种情况。因为每个柱子的处理实际上是相互独立的,所以把所有柱子作为一批处理,并行计算,加快运行时间。


