基于计算机视觉的视障人士出行辅助系统和方法与流程

本发明属于导盲，具体涉及一种基于计算机视觉的视障人士出行辅助系统和方法。

背景技术：

1、

2、目前，视障人士的外出主要依靠传统的盲道、手杖和导盲犬等，传统的导盲在一定程度上缓解了视障人士出行的困难，但存在功能相对单一、体积庞大、重量较重且成本较高等问题。导盲犬训练成本高、数量少、不易普及。

3、随着物联网和人工智能技术的兴起，智能导盲设备无疑是帮助视障人士出行有效的办法，但户外环境往往存在地形复杂，障碍物众多等问题，受制于智能设备的计算性能瓶颈，导致难以识别环境中的复杂物体、对距离估计精度低等问题。

4、因此，如何设计一种高效的基于计算机视觉的视障人士出行辅助系统是本领域亟需解决的技术问题。

技术实现思路

1、本发明目的是提供一种基于计算机视觉的视障人士出行辅助系统和方法，该系统能够为视障人士实时提供精确的环境感知、步行导航、避障预警等关键功能。

2、具体地说，一方面，本发明提供了一种基于计算机视觉的视障人士出行辅助系统，包括眼镜、移动终端；

3、所述眼镜设置有传感器单元和按钮，所述传感器单元实时地采集眼镜周围环境的信息，并将该信息传送给移动终端进行处理；视障人士通过操作所述按钮，使用移动终端上的语音播报功能；

4、所述移动终端设置有环境感知?？楹筒ケ？?；所述环境感知?？槎源衅鞯ピ杉难劬抵芪Щ肪车男畔⒔惺菰ご砗头治?，输出眼镜周围环境中每个物体的距离信息，并通过所述播报?？槎曰肪掣兄畔⒔胁ケ?。

5、进一步的，所述移动终端还包括定位导航?？?；

6、所述定位导航?？?，通过整合地图搜索软件开发包和语音交互软件开发包，获取盲人定位导航信息，并通过播报?？槎曰肪掣兄畔⒑投ㄎ坏己叫畔⒔胁ケ?。

7、另一方面，本发明还提供一种基于计算机视觉的视障人士出行辅助方法，采用上述基于计算机视觉的视障人士出行辅助系统实现，包括以下步骤：

8、数据预处理：所述环境感知?？榇哟衅鞯ピ袢〉闹芪Щ肪车闹∈葜刑崛〕龉丶?；

9、物体检测：将数据预处理得到的关键帧，输入优化的目标检测算法网络结构，进行物体检测，输出标识出物体矩形框的关键帧图像；所述优化的目标检测算法网络结构是根据移动终端算力对目标检测算法进行轻量化优化，经过训练和调参获得最终的移动终端目标检测算法模型，将所述最终的移动终端目标检测算法模型移植到移动终端平台所得；

10、深度估计：将数据预处理得到的关键帧，输入优化的立体匹配算法网络结构，输出关键帧图像中各物体的深度图；所述优化的立体匹配算法网络结构是根据移动终端算力，对立体匹配算法网络结构进行轻量化优化；

11、数据融合：将所述物体检测结果与深度估计结果进行匹配，得到周围环境终每个物体与眼镜间的距离信息。

12、进一步的，所述从传感器单元获取的周围环境的帧数据中提取出关键帧包括：

13、求解每一帧数据的二阶差分均值，作为判断每一帧数据模糊程度的指标；通过丢弃指标低于预设的丢弃阈值的帧来过滤模糊??；在过滤后的帧中计算前后帧像素点的均值差，来判断场景是否发生变化；如果均值差小于预设的均值差阈值，认为场景没有发生明显的变化，则丢弃该帧，否则将该帧保留为关键帧。

14、进一步的，所述优化的目标检测算法网络结构采用以下方法获得：

15、首先，使用泰勒展开方法来确定网络层的重要性，并为每个层分配相应的权重，根据每一层特征图对最终目标检测结果的贡献程度进行排序，进行剪枝；

16、其次，对剪枝后的目标检测算法网络结构模型参数进行微调，获得最终的移动终端目标检测算法模型；

17、最后，使用低精度的浮点数表示最终的移动终端目标检测算法模型参数。

18、进一步的，所述优化的立体匹配算法网络结构采用以下方法获得：

19、将立体匹配算法网络结构中视差分支的输入图像分辨率降低到设定值；

20、通过lottery?ticket?hypothesis方法对每个网络层按对最终结果的重要性进行排序，剪裁掉重要性排在最后的若干层，再通过调节各层连接维度，形成最终的深度更小的网络结构，使用低精度的浮点数表示训练后的所述最终的深度更小的网络结构模型参数。

21、进一步的，所述数据融合包括以下步骤：

22、4-1)对所述物体检测输出的每个物体矩形框进行遍历，获取物体矩形框位置信息和物体矩形框所属物体类别；

23、4-2)对所述深度估计输出的深度图进行采样，采样点的位置与物体检测输出的物体矩形框位置对应，得到每个物体矩形框对应的深度值；

24、4-3)根据所述传感器单元的参数，将每个物体矩形框对应的深度值转换为物体到传感器单元的距离；

25、4-4)将所述物体到传感器单元的距离信息与物体矩形框位置信息、物体矩形框所属物体类别进行关联，得到每个物体与所述眼镜间的距离信息。

26、进一步的，所述定位导航?？橥ü系赝妓阉魅砑陀镆艚换ト砑?，获取盲人定位导航信息，并通过播报?？槎曰肪掣兄畔⒑投ㄎ坏己叫畔⒔胁ケ?，包括以下步骤：

27、定位导航?？樵诮尤氲赝冀涌诤?，定位导航?？槭紫茸远饔靡贫斩说膅ps功能进行实时定位，再通过与视障人士进行语音交互获得视障人士想要到达的目的地址，将视障人士想要到达的目的地址的字符串数据作为输入，传递到定位导航?？?，在以视障人士为中心指定半径的圆形范围内进行搜索，将搜索结果进行排序，选取最接近输入的地址作为导航目的地址；如果搜索结果为0个地址，提醒视障人士重新输入视障人士想要到达的目的地址；待视障人士确认导航目的地址后，进行步行导航路线的规划和推荐，根据视障人士选择的路线进行步行导航。

28、进一步的，所述通过播报?？槎曰肪掣兄畔⒔胁ケ?，按照以下任一播报逻辑进行：

29、范围限制：仅播报指定范围内的环境感知信息；

30、频率控制：按照预设的播报频率播报一次环境感知信息；当物体在盲人正前方指定范围内时，自动触发避障预警；当盲人移动过程中，该物体位于盲人正前方更小范围内时，避障预警播报频率增加；

31、信息量控制：根据不同的物体信息进行不同的播报，对于普通的物体，只播报物体基本信息；而对于重要的障碍物，播报物体更详细的信息；

32、防止重复播报：将此前指定时长内已经播报过的物体信息存储到已播放列表中；每次检测到一个物体时，先检查该物体是否在已播报列表中，并且判断该物体是否已经超过指定间隔时长没有被播报过了；如果是，再将其添加到播报列表中并进行播报，如果不是，则不播报。

33、进一步的，播报逻辑还包括设置播报优先级为：播报环境感知信息的优先级高于播报步行导航信息，则当环境感知信息中要穿插播报步行导航信息时，先播报环境感知信息，再播报步行导航信息

34、本发明的基于计算机视觉的视障人士出行辅助系统和方法的有益效果如下：

35、本发明的基于计算机视觉的视障人士出行辅助系统和方法，针对硬件设备计算能力有限的问题，采用基于改进的目标检测检测算法进行算力优化。具体而言，针对yolox算法等目标检测算法进行了网络结构和参数优化，采用了轻量化的卷积层，使得网络在保证准确率的前提下能够大幅度降低计算复杂度，从而实现了在智能眼镜上的高效实时物体检测。

36、本发明的基于计算机视觉的视障人士出行辅助系统和方法，对stereonet算法等立体匹配算法的深度估计网络进行了优化，采用了精简的网络结构和数据增强方法，以及更适应网络的分辨率的输入图像，来提高深度估计网络的速度和准确度。

37、物体检测?？榭梢钥焖僮既返厥侗鹬芪Щ肪持械奈锾逯掷?，深度估计?？榭梢跃凡饬课锾逵胧诱先耸康木嗬?。本发明的基于计算机视觉的视障人士出行辅助系统和方法，通过将基于优化的目标检测算法的物体检测和立体匹配算法的深度估计的有机结合，可以实现高效、准确的物体检测和距离测量，并且可以在计算能力不足的情况下实现高精度的深度估计，从而在智能眼镜的硬件资源有限的情况下实现功能的提升，从而适应计算能力有限的硬件设备，进一步提升了智能眼镜的实用性。

38、本发明的基于计算机视觉的视障人士出行辅助系统和方法，具备避障预警和步行导航功能，能够为视障人士提供全方位的出行辅助服务，通过播报?？榛袢〉交肪掣兄畔⒉⒆酆系己叫畔⒔兄悄懿ケ?，通过限制范围、控制频率、控制信息量等方式来实现对环境感知信息和导航信息的合理播报。

39、本发明的基于计算机视觉的视障人士出行辅助系统和方法，能够为视障人士提供周围物体种类识别和距离测量、步行导航、避障预警等关键功能。本发明的实施方式简单、易于实现，并且适应计算能力有限的硬件设备，并将各个部分解耦，通过标准协议或接口进行各个部分的连接，充分保障了各部分的独立性以及整个系统的稳定性，具有很高的实用价值和商业价值。