一种融合多模态数据的低成本高性能车路协同方法

本发明涉及一种融合多模态数据的低成本高性能车路协同方法。

背景技术：

1、自动驾驶技术的发展给驾驶员带了了许多方便，在面对紧急情况时，智能车可以辅助甚至代替驾驶员做出决策，例如紧急刹车，车道纠偏等等。但是受限于智能车的单一视角，很多情景无法做出反应，例如，单一车辆无法感知到远处的小目标以及被遮挡的目标，所以车路协同感知技术vehicle?to?infrastructure(v2i)应运而生，v2i技术是通过在路端部署传感器来和车端部署的传感器相配合来实现更高的感知性能的协同感知技术。该技术中常用的传感器包括激光雷达传感器和相机传感器，激光雷达点云提供了精确的深度信息和稳定性，但稀疏性会导致其对于远处小目标的感知能力较弱。相反，图像提供丰富的颜色数据，但提供较弱的深度信息，通常需要大量计算来提取3d细节。

2、随着车路协同感知技术的发展，前人提出了很多车路协同方法，where2comm提出了一种基于空间置信度图的协作方式来减少传输带宽，scope将时空信息考虑进协作感知系统，when2com考虑了一种握手机制，通过该机制选择最佳的辅助车辆，v2vnet考虑了端到端学习的源代码编码，disconet使用1d卷积来压缩消息，然而，上述方法均是在车端和路端传感器为高精度激光雷达的条件下完成的，而高精度激光雷达的成本非常高，想要在每辆车上部署高精度激光雷达是不现实的。而且在有路端的协作的情况下，车端完全可以部署低精度传感器。而如果只是简单的降低车端激光雷达精度，又会使得激光雷达原本的弱点更加突出，感知性能也会随之大幅下降。另外，目前已有的方案中，已经出现了一些对通信带宽的关注，但是他们对于传输的特征的精简化做的还不够，仍然具有一定的压缩空间。

3、为了解决上述问题，我们考虑将车端的激光雷达精度降低至原始精度的一半甚至四分之一，由于路端传感器的职责是提供大范围辅助视野，所以路端激光雷达保持原始精度不变，但是就像前文所说，激光雷达本身对于远处小目标的检测能力较弱，而低精度的激光雷达的这种缺点更加显著，所以我们引入了相机传感器，使用多尺度跨模态交叉注意力融合机制，来为激光雷达传感器补充相应的特征信息。虽然我们引入了相机传感器增加了一项成本，但是，由于激光雷达的成本相比于相机传感器的成本高出太多，所以增加的相机成本远远不如降低激光雷达精度节省的成本多。为了解决融合后存在的特征权重偏移的问题，我们又提出了一种特征纠偏网络来使得融合后的特征更加精准。同时，为了进一步节省同通信带宽，我们提出了一种区域特性增强算法，通过生成特征差值图来选择哪些特征需要传输，哪些特征需要丢弃。

技术实现思路

1、本发明的目的在于能够降低部署以及维护成本，获得更好的协同感知性能；解决跨模态融合后存在的特征权重问题，带来更高好的融合效果；以及解决目标区域特征不够显著的问题，因此提供一种融合多模态数据的低成本高性能车路协同方法。

2、为实现上述目的，本发明的技术方案是：一种融合多模态数据的低成本高性能车路协同方法，包括如下步骤：

3、步骤s1、将激光雷达采集到的点云数据以及相机传感器采集到的图像数据输入到特征提取网络中进行特征提取，得到路端的图像特征和体素特征以及车端的图像特征和体素特征；

4、步骤s2、将各端的图像特征和体素特征分别输入到多尺度交叉注意力?？閙sca(multi-scale?cross-attention)中进行多模态融合，得到车端的融合特征和路端的融合特征；

5、步骤s3、将各端的融合特征分别输入到特征偏移校正?？閒ocm(feature?offsetcorrection?module)对融合后的特征权重偏移进行纠正，使得融合结果更加精准，得到车路双端的精细化特征；

6、步骤s4、利用区域特征增强算法rfea(region?feature?enhancement?algorithm)对双端特征的区域性特征进行显著性处理，同时生成特征差值图用来指导需求矩阵的生成，配合空间置信度图来节省通信带宽。

7、在本发明一实施例中，所述步骤s1的具体实现过程如下：

8、对于点云数据xl：

9、首先将其体素化，然后使用体素特征编码器pillarvfe对进行特征提取，得到体素特征公式如下：

10、

11、其中，b、c、z、h、w分别表示batch?size大小、特征通道数、体素特征的高度、长度和宽度，voxelize表示将点云体素化；

12、对于图像数据xc：

13、使用resnet50对其特征进行提取，得到图像特征其中hc和wc分别表示图像特征的高度和宽度。

14、在本发明一实施例中，所述步骤s2的具体实现过程如下：

15、先将图像特征进行池化得到不同尺度下的图像特征：

16、

17、其中，表示第i个尺度的图像特征，maxpooli表示用于获得第i个尺度的图像特征的池化层；

18、然后再将原始体素特征展平，得到公式如下：

19、

20、其中，表示展平后的体素特征，flatten表示将特征展平为

21、然后，利用展平的体素特征中的每个体素特征块来查询不同尺度的图像特征，获得更新的展平体素特征；使用以下公式更新每个体素特征块：

22、

23、其中，p代表参考点，j代表在点周围采样点的数量，si代表第i个尺度，代表可学习的注意力权重，表示根据得到的学习的权重，表示参考点p的预测偏移量，表示位于处的特征，deca表示更新体素特征块所使用的交叉注意力；

24、在将所有尺度的图像特征与体素特征融合后，获得不同尺度下的融合特征，并将其重塑为原始维度，得到然后，沿着通道维度连接所有尺度下的融合特征；最后，应用完全连接层来获得最终的融合特征：

25、

26、

27、其中，表示将所有尺度下的特征拼接在一起得到的特征，ffused∈rh×l×w×b×c表示最终经过全连接层得到的融合特征，wf和bf表示线性层中可学习的参数，concat表示拼接操作。

28、在本发明一实施例中，所述步骤s3的具体实现过程如下：

29、先将得到的融合特征ffused和经过由全连接网络组成的权重图生成器得到权重图mfused和mvoxel，公式如下：

30、m＝wgf+bg

31、其中，wg和bg表示线性层中可学习的参数；

32、然后将ffused和mvoxel相乘，将和mvoxel相乘，得到两张将特征偏移校正后的特征图，然后将这两张特征图拼接经过全连接网络，得到最终的将特征偏移校正的特征foc，公式如下：

33、

34、其中，foc∈rh×l×w×b×c表示校正后的特征，mfused和mvoxel表示由ffused和生成的特征权重图，表示将两张特征图拼接的操作，woc和boc表示线性层中可学习的参数。

35、在本发明一实施例中，所述步骤s4的具体实现过程如下：

36、首先，使用高斯滤波来使特征foc平滑，然后，计算特征图中每个点与其周围点之间的差异，获得与原始点具有相同特征尺度的差值图；接着，评估差值图，当差值图中某处超过某个阈值时，将相应位置的值设置为1；相反，当低于某个阈值时，将相应位置的值设置为零；最终得到区域特性图md∈rh×l×w×b×c；然后将区域特性图md、空间置信度图mc与纠偏后的特征foc相乘，得到将区域特性增强后的特征frefa∈rh×l×w×b×c，在车路协同中，互相通信的即为frefa。

37、相较于现有技术，本发明具有以下有益效果：本发明提出了一种融合多模态数据的低成本高性能车路协同方法，引入相机传感器作为补充，使用多尺度跨模态交叉注意力融合机制对二者进行融合，在降低部署以及维护成本的同时保证了较高的感知性能。另外，我们提出了一种融合后特征权重偏移的校正网络，使得融合后的特征更加精准。此外，我们提出了一种对目标区域性特征进行增强的算法，进一步提高了感知性能。针对通信带宽，我们将区域特征增强算法中的特征差值图作为压缩依据，进一步精简了通信的内容，降低了通信带宽。