一种托盘位姿估计方法、系统及存储介质与流程

本发明涉及计算机视觉领域，具体涉及一种托盘位姿估计方法、系统及存储介质。

背景技术：

1、目前，随着移动机器人的不断普及，智能物流也逐渐走向自动化以及智能化，智能物流要求高效地生产物流配送与生产的各个环节自动化无缝对接，为了构建现代工厂智慧物流系统，提高物流搬运效率，无人叉车获得越来越多的关注。在生产物流配送中，无人叉车主要任务为叉取承载货物的托盘。但是在日常的生产作业过程中，托盘会因人工干预和设备精度误差导致位姿偏移，极大影响无人叉车工作效率以及推广使用，因此如何获取托盘因操作偏移的位姿成为了研究重点。

2、托盘位姿检测方法主要分为基于图像处理以及基于深度学习的方法，图像处理的方法主要是通过获取特征点信息，通过sift（scale?invariant?feature?tramsform）、surf(?speeded?up?robust?features)完成特征点匹配确立特征点二维-三维对应关系，后续通过n点透视(perspective—n—points,pnp)问题来完成相机相对位姿参数的计算。但是该方法需要人工进行二维与三维对应点的匹配，同时只能针对单一托盘进行位姿匹配，无法进行多个托盘位姿估计。

3、基于深度学习的方法可以大多通过直接法。直接法无需建立图像二维-三维的对应关系，直接通过回归或分类的方式获取托盘的位姿状态。但是主流的单目相机仅仅只能够完成托盘的目标检测或者是语义分割，都是基于二维图像的操作，没有办法与三维位姿结合起来，无法确切获取到托盘与无人叉车的相对关系。

技术实现思路

1、本发明的目的在于提供一种能够对多个托盘进行位姿估计的托盘位姿估计方法、系统及存储介质。

2、为了达到上述目的，本发明采用这样的技术方案：

3、一种托盘位姿估计方法，包括如下依次执行的步骤：

4、s1：图像样本制作，采集生产作业中常见的托盘类型的图像，根据托盘样式和材料进行分类，对托盘角点进行标注为托盘角点1-8，获得图像样本；

5、s2：对所述图像样本进行数据增强处理，获得训练图像；

6、s3：在yolov8模型的主干网络sppf后面添加shuffleattention注意力机制，并用hungarian损失函数替换yolov8模型中的损失函数，对yolov8模型进行改进，得到改进后的yolov8检测模型；

7、s4：将标注好的所述图像样本按比例划分为训练集、验证集和测试集，将训练集输入到步骤s3改进后的yolov8检测模型进行训练时同时使用在线数据增强；

8、s5：在无人叉车的正前方挡板上安装相机，利用相机采集托盘图像，调用改进后的yolov8检测模型对所述托盘图像进行检测，输出所述托盘图像的关键点坐标，并输出所述托盘图像对应的托盘分类与托盘角点1-8坐标；

9、s6：根据步骤s5输出的托盘分类调用对应的先验托盘尺寸规格、输出的托盘角点1-8坐标，以及所述相机的畸变参数，使用epnp算法进行托盘位姿估计，计算出相机与所述托盘图像中的托盘的相对位姿。

10、优选的，步骤s4中，所述图像样本按照8:1:1的比例划分为训练集、验证集和测试集。

11、优选的，步骤s1中，托盘上表面和托盘下表面的托盘角点的标注方式均为顺时针标注。

12、优选的，步骤s5输出的关键点坐标中，第一个数字为图像内托盘的分类，第二个至第五个数字是矩形框的坐标，之后每三个数字为一个关键点的x坐标和y坐标以及关键的可见性，0为不存在或未标记，1表示可见，2表示不可见。

13、优选的，将世界坐标系建立在托盘中心处，根据先验托盘尺寸规格，记录下八个托盘角点的世界坐标，按照顺时针的顺序与步骤s5输出的托盘角点1-8坐标进行匹配，计算出相机与所述托盘图像中的托盘的相对位姿。

14、优选的，步骤s2中，采用镜像、翻转、裁剪、旋转、平移、添加高斯噪声或调节亮度对图像进行数据增强处理，每次使用三种变换进行随机组合对图像进行数据增强处理。

15、一种位姿估计系统，包括无人叉车、无人叉车调度系统、无人叉车控制系统、相机、托盘位姿估计单元；

16、所述无人叉车用于获取托盘拾取任务，所述无人叉车行驶到托盘库位，并使用所述相机拍摄托盘图像，并将拍摄到的托盘图像上传至托盘位姿估计单元；

17、所述相机安装在无人叉车上，位于无人叉车前方挡板中间，用于拍摄托盘图像并且上传至托盘位姿估计单元；

18、所述托盘位姿估计单元分别与所述相机和所述无人叉车调度系统通讯连接；

19、所述托盘位姿估计单元包括yolov8模型与epnp算法，先使用yolov8模型对托盘图像进行检测，并且输出托盘的种类和对应的角点，再使用epnp算法将输出的托盘角点的二维像素坐标与托盘的三维角点世界坐标进行匹配计算出托盘相对于相机的深度信息，左右信息，高度信息以及欧拉角，并将数据更新到所述无人叉车调度系统上；

20、所述无人叉车调度系统用于托盘位姿更新并且进行路径规划，将运行路线分配给所述无人叉车控制系统，所述无人叉车控制系统控制所述无人叉车进行托盘拾取任务；

21、所述无人叉车控制系统与所述无人叉车调度系统通讯连接，用于控制所述无人叉车的运行。

22、一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的托盘位姿估计方法。

23、通过采用前述设计方案，本发明的有益效果是：本发明公开了一种托盘位姿估计方法，相对于传统的基于激光雷达的托盘位姿估计方法在保证一定精度的情况下极大地减少了硬件使用成本，相对基于深度学习的托盘位姿识别方法能够获取托盘与无人叉车的确切位姿状态；本发明为了进一步提升yolov8在复杂状态下对托盘角点的特征提取能力，融合了shuffleattention注意力机制，按照通道维度分组为子特征，然后进行并行处理，利用channel?shuffle算子实现不同子特征间的信息通信，提高了模型对边缘特征的检测精度；同时为了进行托盘的位姿估计，方便后续epnp算法进行矩阵计算，对yolov8关键点损失进行改进；采用hungarian损失函数对关键点损失函数进行改进，将关键点表述为一个集合预测问题，为了便于比较真实集和预测集，使用二分法来寻找预测元素的排列，在提高边界框回归的同时提高托盘角点的定位精度。

技术特征：

1.一种托盘位姿估计方法，其特征在于：包括如下依次执行的步骤：

2.如权利要求1所述的一种托盘位姿估计方法，其特征在于：步骤s4中，所述图像样本按照8:1:1的比例划分为训练集、验证集和测试集。

3.如权利要求1所述的一种托盘位姿估计方法，其特征在于：步骤s1中，托盘上表面和托盘下表面的托盘角点的标注方式均为顺时针标注。

4.如权利要求1所述的一种托盘位姿估计方法，其特征在于：步骤s5输出的关键点坐标中，第一个数字为图像内托盘的分类，第二个至第五个数字是矩形框的坐标，之后每三个数字为一个关键点的x坐标和y坐标以及关键的可见性，0为不存在或未标记，1表示可见，2表示不可见。

5.如权利要求1所述的一种托盘位姿估计方法，其特征在于：将世界坐标系建立在托盘中心处，坐标轴垂直于托盘四条边，根据先验托盘尺寸规格，记录下八个托盘角点的世界坐标，按照顺时针的顺序与步骤s5输出的托盘角点1-8坐标进行匹配，计算出相机与所述托盘图像中的托盘的相对位姿。

6.如权利要求1所述的一种托盘位姿估计方法，其特征在于：?步骤s2中，采用镜像、翻转、裁剪、旋转、平移、添加高斯噪声或调节亮度对图像进行数据增强处理，每次使用三种变换进行随机组合对图像进行数据增强处理。

7.一种位姿估计系统，其特征在于：包括无人叉车、无人叉车调度系统、无人叉车控制系统、相机、托盘位姿估计单元；

8.一种计算机存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述权利要求1-6任一项所述的托盘位姿估计方法。

技术总结
本发明涉及计算机视觉领域，具体涉及一种托盘位姿估计方法、系统及存储介质，S1：采集生产作业中常见的托盘类型的图像，根据托盘样式和材料进行分类，对托盘角点进行标注为托盘角点1?8，获得图像样本；S2：对所述图像样本进行数据增强处理，获得训练图像；S3：在YOLOv8模型的主干网络SPPF后面添加ShuffleAttention注意力机制，并用Hungarian损失函数替换YOLOv8模型中的损失函数，对YOLOv8模型进行改进，得到改进后的YOLOv8检测模型；S4：模型训练，S5：托盘图像采集，S6：托盘位姿计算；本发明通过计算相机与托盘的相对位姿，根据相机安装在无人叉车前方，得到托盘与无人叉车的相对位姿，实现了对托盘的6D位姿估计。

技术研发人员：陈豪,孙鹏,连明昌,王浩然,陈松航,石明,丁伟,戴玲凤,骆炜,王耀宗,张剑铭,王森林,钟浪
受?；さ募际跏褂谜撸?/b>泉州装备制造研究所
技术研发日：
技术公布日：2024/4/24