基于多模态融合感知技术的交通事故决策系统的制作方法

本发明涉及异常形变检测，具体涉及一种基于多模态融合感知技术的交通事故决策系统。

背景技术：

1、在交通事故决策系统的背景下，多模态可能包括含有图像数据的监控视频、紧急车辆的警报声以及来自车载传感器的数据等，通过将不同类型的数据进行融合分析，可以了解不同维度的信息，有助于更好地理解问题的本质，提高系统的可靠性和准确性，做出更明智的决策。

2、现有技术中，考虑到发生交通事故时车辆可能会出现形变状态，为了在监控视频中提取有效信息，使用harris角点检测算法获得不同帧图像下的角点，并将其输入到神经网络确定车辆在视频维度下的交通事故判断结果，再结合音频信息的识别结果进行交通事故的决策，判断车辆是否变形。但在角点检测的过程中，由于交通事故的发生导致车辆部分边缘变形，弯曲程度不严重的部分会出现角点检测结果为边缘而非角点的情况，未能获取到角点检测时每个像素点准确的权重系数，导致角点检测结果输入到神经网络中无法精准判断车辆是否存在变形，进而无法有效识别是否发生交通事故。

技术实现思路

1、为了解决未能获取到角点检测时每个像素点准确的权重系数，导致事故识别效果较差的技术问题，本发明的目的在于提供一种基于多模态融合感知技术的交通事故决策系统，所采用的技术方案具体如下：

2、本发明提出了一种基于多模态融合感知技术的交通事故决策系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

3、获取车辆交通事故的多模态信息，所述多模态包括监控视频和音频；

4、根据监控视频中每一帧图像上每个像素点的梯度特征，获得每一帧图像上每个像素点对应实对称矩阵的特征值；根据监控视频中每一帧图像中每个像素点的所述实对称矩阵的特征值分布特征，获得所有帧图像上每个像素点的局部时间变化参数，以及所有帧图像的平均时间变化参数；

5、根据每个像素点的所述特征值获得每个像素点对应椭圆的近圆程度；根据每一帧图像上每个像素点在不同预设方向的邻域范围内每个其他像素点的所述近圆程度的变化趋势，获得每一帧图像上每个像素点的空间变化参数；根据每一帧图像上每个像素点的所述空间变化参数、对应所述局部时间变化参数和所述平均时间变化参数，获得每一帧图像上每个像素点的权重系数；

6、根据每一帧图像上每个像素点的所述权重系数对每一帧图像进行角点检测，根据角点检测结果获得监控视频识别事故结果；

7、根据车辆交通事故音频的声音变化特征，获得音频识别事故结果；根据所述监控视频识别事故结果和所述音频识别事故结果对车辆交通事故进行决策。

8、进一步地，所述特征值的获取方法包括：

9、在对每一帧图像采用harris角点检测算法的过程中，根据每一帧图像上每个像素点在不同方向上的梯度特征，获取每一帧图像上每个像素点的一阶梯度矩阵；对一阶梯度矩阵中每个元素求二阶导数，获得二阶梯度矩阵，作为每一帧图像上每个像素点对应的实对称矩阵；并获得实对称矩阵的多个特征值。

10、进一步地，所述时间变化参数的获取方法包括：

11、计算每一帧图像上每个像素点的所述特征值之间的差值的平方，作为每个像素点的第一变化值；对所有帧图像中相同位置的像素点的第一变化值求均值，获得所有帧图像上每个像素点的局部时间变化参数。

12、进一步地，所述平均时间变化参数的获取方法包括：

13、在每一帧图像上，计算每个像素点的特征值之间的差异，作为第一差异值；

14、计算所有像素点的所述第一差异值之和，作为第一累加值；将所述第一累加值进行归一化，计算归一化结果与所述第一变化值的乘积，作为每一帧图像上每个像素点的第二变化值；将所有帧图像中相同位置的像素点的所述第二变化值求均值，获得所有帧图像上每个像素点的第二变化均值；

15、将所有帧图像上所有像素点的所述第二变化均值求均值，获得所有帧图像的平均时间变化参数。

16、进一步地，所述近圆程度的获取方法包括：

17、将每个像素点的最大特征值作为椭圆的长轴，将每个像素点的最小特征值作为椭圆的短轴；计算椭圆的长轴与短轴的比值，获得近圆程度。

18、进一步地，所述空间变化参数的获取方法包括：

19、所述预设方向包括水平方向和垂直方向；

20、根据空间变化参数的获取公式获得空间变化参数，空间变化参数的获取公式为：

21、；其中，表示第帧图像上第个像素点；表示第帧图像上第个像素点的空间变化参数；表示预设系数；表示第帧图像上第个像素点在垂直方向上邻域范围内第个其他像素点对应椭圆的近圆程度；表示第帧图像上第个像素点在水平方向上邻域范围内第个像素点对应椭圆的近圆程度；表示垂直方向上邻域范围内其他像素点的数量；表示水平方向上邻域范围内其他像素点的数量；表示每一帧图像上像素点的位置序号；表示归一化函数。

22、进一步地，所述权重系数的获取方法包括：

23、计算每个像素点在所有帧图像中空间变化参数的均值，获得第一权值；

24、对所有帧图像上每个像素点的局部时间变化参数进行负相关映射，并基于所有帧图像的平均时间变化参数对负相关映射结果进行归一化，获得第二权值；

25、计算所述第一权值和所述第二权值的乘积，并进行归一化，获得每一帧图像上每个像素点的权重系数。

26、进一步地，所述监控视频识别事故结果的获取方法包括：

27、根据每一帧图像上每个像素点的所述权重系数对每一帧图像进行harris角点检测，获得监控视频中所有帧图像的角点检测结果；

28、将角点检测结果进行神经网络识别，获得监控视频识别事故结果。

29、进一步地，所述音频识别事故结果的获取方法包括：

30、根据车辆交通事故音频的声音变化特征，采用语音识别算法对音频进行识别，获得音频识别事故结果。

31、进一步地，所述预设系数为0.5。

32、本发明具有如下有益效果：

33、本发明为了提高对事故的准确判断和分析，获取车辆交通事故的多模态信息，多模态信息包括监控视频和音频；根据监控视频中每一帧图像上每个像素点的梯度特征，获得每一帧图像上每个像素点对应实对称矩阵的特征值，可以更好的理解像素点的变化情况，更好地理解和分析图像的局部特征；根据监控视频中每一帧图像上每个像素点的实对称矩阵的特征值分布特征，获得所有帧图像上每个像素点的局部时间变化参数，获得所有帧图像的平均时间变化参数，量化每个像素点随时间的变化情况，了解像素点的动态变化；根据每一帧图像上每个像素点在不同预设方向的邻域范围内每个其他像素点的近圆程度的变化趋势，获得每一帧图像上每个像素点的空间变化参数，提供每个像素点空间运动的信息，帮助了解像素点在图像中的位置、方向和可能的运动模式；综合考虑时间和空间因素，进一步地，获得每一帧图像上每个像素点的权重系数，更全面的评估像素点的权重和重要性；根据每一帧图像上每个像素点的权重系数对每一帧图像进行角点检测，更准确的识别图像中的角点，提高交通事故识别的准确性；根据角点检测结果获得监控视频识别事故结果；为了更全面准确的对交通事故情况进行分析，根据车辆交通事故音频的声音变化特征，获得音频识别事故结果；对车辆交通事故进行决策，更准确地评估事故的性质和严重程度，提高交通事故决策的准确性。本发明通过获得角点检测时每个像素点准确的权重系数，提高异常形变识别的效果。