一种眼底智能拍摄方法与流程

本发明属于医学图像处理，具体涉及一种眼底智能拍摄方法。

背景技术：

1、现有技术中，暂无针对眼底图像进行实时质控的定向靶位自动拍摄方法。眼底图像对于医生进行眼底疾病诊断具有很大的辅助作用，进而清晰、特定区域、实时的自动眼底拍摄技术需求日益显著。医生使用眼底相机拍摄患者眼底，一旦成像模糊、病变区域显示不全或者实时性不够造成无法及时手动捕捉，都会导致眼底图像无法被医生解读和诊断。主要原因如下：

2、（1）患者眼部属于敏感器官，一旦有物体接近眼球，眼睛将很难固视，特别是婴幼儿群体配合度极低；

3、（2）医生在操作眼底相机时点击拍摄键会导致设备的微颤，会造成眼底成像有不同程度的运动模糊；

4、（3）不同眼底相机的性能差异很大，广域成像比普通成像的视角更大，但依然无法准确地覆盖到指定的眼底位置，且容易造成同一只眼睛多张眼底图像区域的高度重合，还不能够完整地拼接出全眼。

5、现有的眼底拍摄技术无法实现实时质控和自动拍摄，需要医生手动判断眼底目标区域并快速捕捉拍摄，再利用传统方法或者深度学习方法对眼底图像进行质控，将合格的眼底图像展示给医生进行辅助诊断。现有的技术很容易导致成像模糊、眼底目标显示不全或未显示、效率低等问题。

技术实现思路

1、解决以上现象，亟需提出一种眼底智能拍摄方法，从设备上优化，滤掉人工的拍摄操作，眼底目标进入指定的靶位区域会实时质控，并且自动拍摄和保存眼底图像。

2、本发明所要解决的技术问题是针对现有眼底拍摄技术的不足，提供一种基于靶位判断且实时质控的智能自动拍摄技术，实现指定视角、实时质控的高效率自动拍摄。

3、目前，眼底图像一般由特殊的眼底相机拍摄获得，现有的拍摄设备以及拍摄技术，受限于患者眼部的自主配合度，很难精准捕捉到一张指定视角的清晰眼底图像，这种现象普遍且频繁出现。为彻底克服这一现象，本发明提供一种眼底智能拍摄方法。依据万张眼底图像，设计出适用于眼底成像的环形靶位区域，借助yolov8深度学习方法进行视盘定位，以视盘作为主要眼底特征用作判断视角的基准，当视盘进入特定的靶位区，进行实时质量判断，若质量合格，则自动拍摄该帧图像，展示至界面并保存至后台。医生无需自主拍摄，即可获得指定区域的清晰眼底图像。

4、本发明的技术方案如下：一种眼底智能拍摄方法，所述方法包括以下步骤：

5、步骤一：获取相机camera实时的视频流；

6、步骤二：视频流的当前视频帧转换成图像img，传入已训练的视盘目标检测模型，保存图像坐标系中的视盘坐标信息和置信度；

7、步骤三：设计用于判断图像主要特征区域是否存在畸变，以及属于哪类视角图的环形靶位区；

8、步骤四：判断当前视频帧图像img中的主要特征区域是否存在畸变，在img主要特征区域（视盘及视盘周边血管）不存在畸变的前提下，判断该img属于哪种视角图；

9、步骤五：根据图像img中识别的视盘坐标判断是否进行拍摄；

10、步骤六：满足步骤五的条件后，判断当前眼底图像img是否存在亮度异常；

11、步骤七：图像img在步骤六中被判断为正常亮度的图像后，利用步骤二中的视盘位置信息，取出img中的指定视盘及周边的正方形区域，对该正方形区域的清晰度进行判断；

12、步骤八：当前img处理完成后，将继续循环步骤二到步骤七的操作，若在同一视角图的清晰度值比上一次该视角图的清晰度高，则更新当前帧为最终的自动拍摄图。

13、作为本发明的一种改进，步骤二视频流的当前视频帧转换成图像格式img，传入已训练的视盘目标检测模型，保存img中视盘的坐标信息和置信度(x1,y1,x2,y2,p_disc)，其中x1是视盘检测框的左上角横坐标，y1是左上角纵坐标，x2是右下角横坐标，y2是右下角纵坐标，p_disc是模型认为当前目标框内的目标为视盘的概率值。

14、作为本发明的一种改进，步骤二中视盘目标检测?？?，使用yolov8网络，用于眼底视盘的定位，其中yolov8的权重是基于自制的2000张眼底图像数据集训练，对视盘进行标注的基础上，增加了500张外部环境图的全图标注信息，利用两种标签训练出视盘检测的权重，该权重在公开的官方数据集上进行验证效果显著。

15、作为本发明的一种改进，步骤三包括当前视频帧的眼底图像img，长和宽分别为w、h，长和宽的最小值为m，设计环形靶位区。

16、作为本发明的一种改进，根据视盘出现畸变的临界位置以及视盘的实际像素大小，设置靶位区环形的外圈半径majoraxis、内圈半径minoraxis、中心点(0.5*w,0.5*h)，将环形区域每45度划分为扇形区域，依次命名为b~i，最中心是以1/10的m为半径的圆形靶位区a。

17、作为本发明的一种改进，步骤五中如果视盘检测框的中心点落入任意一个靶位区域内，则代表当前眼底图像img满足某个特定视角。

18、作为本发明的一种改进，步骤六对于异常情况的判断方式包括：

19、获取眼底图像img的外环mask图像，将rgb图像转换格式，得到hsv通道图，提取v通道，利用mask计算圆环内亮度的均值mean；

20、绘制v通道图像在mask区域内的像素直方图，寻找像素直方图内的所有像素峰值点，利用所有峰值点分布再次求出新的峰值点分布，找出新的峰值点中对应像素最小的点point_min和像素最大的点point_max，计算point_min和point_max两点的像素差值pixel_difference；

21、若亮度均值mean小于等于阈值t1，峰值像素差pixel_difference大于阈值t2，则认为该张图像img存在局部过暗；若亮度均值mean大于阈值t1，峰值像素差pixel_difference大于阈值t2，则认为该张图像img存在局部过亮；若上述情况都不存在，则认为该张图亮度正常。

22、作为本发明的一种改进，步骤七中清晰度计算方法如下：分离出图像r通道和g通道，分别计算r通道和g通道图像拉普拉斯变换后的图像方差，若两通道的方差均值越大，则认为图像越清晰；反之不清晰，不能作为自动拍摄的结果图。

23、相对于现有技术，本发明的有益效果为：本发明提供一种眼底智能拍摄方法，依据万张眼底图像，设计出适用于眼底成像的环形靶位区域，借助yolov8深度学习方法进行视盘定位，以视盘作为主要眼底特征用作判断视角的基准，当视盘进入特定的靶位区，进行实时质量判断，若质量合格，则自动拍摄该帧图像，展示至界面并保存至后台；医生无需自主拍摄，即可获得指定区域的清晰眼底图像；提供一种眼底智能拍摄方法，本方法基于靶位设计和实时质控自动拍摄方法，解决的了人工拍摄眼底图像质量不佳、视角不固定、低效率等问题，同时解决了对视频处理实时性低的问题。

技术特征：

1.一种眼底智能拍摄方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种眼底智能拍摄方法，其特征在于，步骤二视频流的当前视频帧转换成图像格式img，传入已训练的视盘目标检测模型，保存img中视盘的坐标信息和置信度x1、置信度y1、置信度x2、置信度y2及置信度p_disc，其中x1是视盘检测框的左上角横坐标，y1是左上角纵坐标，x2是右下角横坐标，y2是右下角纵坐标，p_disc是模型认为当前目标框内的目标为视盘的概率值。

3.根据权利要求1所述的一种眼底智能拍摄方法，其特征在于，步骤二中视盘目标检测?？?，使用yolov8网络，用于眼底视盘的定位，其中yolov8的权重是基于自制的2000张眼底图像数据集训练，对视盘进行标注的基础上，增加了500张外部环境图的全图标注信息，利用两种标签训练出视盘检测的权重。

4.根据权利要求1所述的一种眼底智能拍摄方法，其特征在于，步骤三包括当前视频帧的眼底图像img，长和宽分别为w、h，长和宽的最小值为m，设计环形靶位区。

5.根据权利要求4所述的一种眼底智能拍摄方法，其特征在于，根据视盘出现畸变的临界位置以及视盘的实际像素大小，设置靶位区环形的外圈半径majoraxis、内圈半径minoraxis、中心点0.5*w、中心点0.5*h，将环形区域每45度划分为扇形区域，依次命名为b~i，最中心是以1/10的m为半径的圆形靶位区a。

6.根据权利要求1所述的一种眼底智能拍摄方法，其特征在于，步骤五中如果视盘检测框的中心点落入任意一个靶位区域内，则代表当前眼底图像img满足某个特定视角。

7.根据权利要求1所述的一种眼底智能拍摄方法，其特征在于，步骤六对于异常情况的判断方式包括：

8.根据权利要求1所述的一种眼底智能拍摄方法，其特征在于，步骤七中清晰度计算方法如下：分离出图像r通道和g通道，分别计算r通道和g通道图像拉普拉斯变换后的图像方差，若两通道的方差均值越大，则认为图像越清晰；反之不清晰，不能作为自动拍摄的结果图。

技术总结
本发明公开了一种眼底智能拍摄方法，包括获取相机Camera实时的视频流；对视频帧进行格式转换，传入已训练的视盘目标检测模型，保存视盘的坐标信息和置信度；判断当前视频帧图像img中的主要特征区域是否存在畸变；在img主要特征区域不存在畸变的前提下，根据图像img中识别的视盘坐标判断是否满足某拍摄视角的条件；满足条件后，判断当前眼底图像img是否存在亮度异常；判断正常后，利用视盘位置信息，对指定视盘正方形区域的清晰度进行计算，并设该img为当前视角的自动拍摄图；当前img处理完成后，进行下一视频帧的处理，解决了人工拍摄眼底图像质量不佳、视角不固定、低效率等问题，同时解决了对视频处理实时性低的问题。

技术研发人员：唐旭,赵振栋,姜冲,刘春燕,曹磊
受?；さ募际跏褂谜撸?/b>江苏富翰医疗产业发展有限公司
技术研发日：
技术公布日：2024/4/24