主权项:
1.一种多特征融合的内窥镜图像质量评估方法,其特征在于,包括如下步骤: S1、获取患者单次内窥镜检查时拍摄的若干内窥镜图像; S2、对获取的内窥镜图像进行整体情况评估,得到内窥镜图像的整体评估信息; 所述S2包括如下步骤: S21、统计得到获取的内窥镜图像的数量; S22、判断内窥镜图像的数量是否大于或等于预设图像数量阈值,若是则内窥镜图像的数量信息值为1,否则内窥镜图像的数量信息值为0; S23、基于Laplacian梯度方法,计算每张内窥镜图像的Laplacian梯度,并基于超过预设的Laplacian梯度阈值的内窥镜图像数量,得到内窥镜图像的清晰度信息值,其中,内窥镜图像的清晰度信息值为超过预设的Laplacian梯度阈值的内窥镜图像数量占获取的总的内窥镜图像数量的百分比值; S24、基于SSIM相似度系数方法,计算任意两张内窥镜图像间的SSIM相似系数,并基于超过预设的相似度系数阈值的内窥镜图像数量,得到内窥镜图像的重复比例信息值,其中,内窥镜图像的重复比例信息值为超过预设的相似度系数阈值的内窥镜图像数量占获取的总的内窥镜图像数量的百分比值; 所述S24中SSIM相似系数的计算表达式如下: , , , , , 其中,SSIM(p,q)表示第一内窥镜图像p与第二内窥镜图像q的SSIM相似系数,l(p,q)表示第一内窥镜图像p与第二内窥镜图像q的亮度比较函数,α表示亮度比较函数的指数系数,c(p,q)表示第一内窥镜图像p与第二内窥镜图像q的对比度比较函数,β表示对比度比较函数的指数系数,s(p,q)表示第一内窥镜图像p与第二内窥镜图像q的结构比较函数,γ表示结构比较函数的指数系数,μp表示第一内窥镜图像p特征的均值,μq表示第二内窥镜图像q特征的均值,c1表示第一非零系数,表示第一内窥镜图像p特征的标准差,表示第二内窥镜图像q特征的标准差,c2表示第二非零系数,表示第一内窥镜图像p与第二内窥镜图像q特征的协方差,c3表示第三非零系数,H表示内窥镜图像的高度,W表示内窥镜图像的宽度,p(i,j)表示第一内窥镜图像上像素(i,j)处的特征,q(i,j)表示第二内窥镜图像上像素(i,j)处的特征,表示像素值的范围,k1,k2均为常数; S25、分别提取获取的内窥镜图像中的拍摄时间信息,将最晚的拍摄时间信息与最早的拍摄时间信息作差,得到检查时长,若检查时长等于或大于预设的检查时长,则内窥镜图像的总体检查时效信息值为1,否则内窥镜图像的总体检查时效信息值为0; S26、将内窥镜图像的数量信息值、清晰度信息值、重复比例信息值和总体检查时效信息值作为内窥镜图像的整体评估信息; S3、对获取的内窥镜图像进行黏膜暴露度评估,得到内窥镜图像的黏膜暴露度信息; 所述S3包括如下步骤: S31、通过标注有黏膜、泡沫或充气度信息的内窥镜图像对第一ResNet网络进行图像识别训练,当黏膜、泡沫以及充气度的识别准确率达到预设第一准确率阈值时,得到训练好的第一ResNet网络,并作为黏膜暴露度网络; S32、利用黏膜暴露度网络识别获取的内窥镜图像中是否具有黏膜或泡沫,以及充气程度,得到黏膜暴露度识别结果; S33、将黏膜暴露度识别结果中具有黏膜或泡沫的内窥镜图像数量占获取的总的内窥镜图像数量的比例,作为内窥镜图像的黏膜泡沫信息值; S34、对黏膜暴露度识别结果中各内窥镜图像的充气程度进行归一化,并基于统计内窥镜图像的充气程度归一化结果属于充气适宜阈值区间的图像数量,得到内窥镜图像的充气程度信息值,其中,内窥镜图像充气程度信息值为内窥镜图像的充气程度归一化结果属于充气适宜阈值区间的图像数量与获取的总的内窥镜图像数量的百分比值; S35、将内窥镜图像的黏膜泡沫信息值和充气程度信息值作为内窥镜图像的黏膜暴露度信息; S4、对获取的内窥镜图像进行部位识别度评估,得到内窥镜图像的部位识别度信息; 所述S4包括如下步骤: S41、通过标注有图像方向、局部图像与完整图像结合、拍摄次序、拍摄对象完整度或关键对象拍摄角度的内窥镜图像对第二ResNet网络进行图像识别训练,当图像方向、局部图像与完整图像结合、拍摄次序、拍摄对象完整度和关键对象拍摄角度的识别准确率达到第二准确率阈值时,得到训练好的第二ResNet网络,并作为部位识别度网络; S42、利用部位识别度网络识别获取的内窥镜图像中图像方向是否正确、是否局部图像与完整图像结合、图像的拍摄次序、拍摄部位是否完整以及关键对象拍摄角度,得到部位识别度识别结果; S43、将部位识别度识别结果中图像方向正确的内窥镜图像数量占获取的总的内窥镜图像数量的比例,作为内窥镜图像的图像方向正确率信息值; S44、若部位识别度识别结果中存在局部图像与完整图像结合,则内窥镜图像的局部与完整结合信息值为1,否则内窥镜图像的局部与完整结合信息值为0; S45、根据部位识别度识别结果中图像的拍摄次序,若获取的内窥镜图像的拍摄次序为顺序拍摄,则内窥镜图像的拍摄顺序信息值为1,否则内窥镜图像的拍摄顺序信息值为0; S46、将部位识别度识别结果中拍摄部位完整的图像数量占获取的总的内窥镜图像数量的比例,作为内窥镜图像的拍摄部位完整度信息值; S47、根据部位识别度识别结果中关键对象的拍摄角度,将同一关键对象拍摄角度超过2个的关键对象数量占总的关键对象数量的比例,作为内窥镜图像的关键对象不同角度信息值; S48、将内窥镜图像的图像方向正确率信息值、局部与完整结合信息值、拍摄顺序信息值、拍摄部位完整度信息值和关键对象不同角度信息值作为部位识别度信息; S5、对获取的内窥镜图像进行染色评估,得到内窥镜图像的染色信息; 所述S5包括如下步骤: S51、通过标注有食管染色或胃部异常病变染色的内窥镜图像对第三ResNet网络进行图像识别训练,当食管染色和胃部异常病变染色的识别准确率达到第三准确率阈值时,得到训练好的第三ResNet网络,并作为染色识别网络; S52、利用染色识别网络识别获取的内窥镜图像中是否对食管或胃部异常病变染色,得到染色识别结果; S53、若染色识别结果中存在食管染色的图像,则内窥镜图像的食管染色信息值为1,否则内窥镜图像的食管染色信息值为0; S54、若染色识别结果中存在胃部异常病变染色的图像,则内窥镜图像的胃部异常病变染色信息值为1,否则内窥镜图像的胃部异常病变染色信息值为0; S55、若获取的内窥镜图像中同时存在食管染色的图像与未染色的食管图像,和/或胃部异常病变染色的图像与未染色的胃部异常病变图像,则内窥镜图像的染色前后对比信息值为1,否则内窥镜图像的染色前后对比信息值为0; S56、将内窥镜图像的食管染色信息值、胃部异常病变染色信息值和染色前后对比信息值作为染色信息; S6、对获取的内窥镜图像进行活检评估,得到内窥镜图像的活检信息; 所述S6包括如下步骤: S61、获取患者的活检信息标签; S62、判断活检信息标签中是否为应活检者,若是则进入S63,否则进入S66; S63、判断内窥镜图像中是否存在活检对应的图像,若是则内窥镜图像的应活检信息值为1,并进入S64,否则进入S66; S64、判断活检对应的图像中活检位置是否准确,若是则内窥镜图像的活检位置准确信息值为1,否则内窥镜图像的活检位置准确信息值为0; S65、判断活检对应的图像中是否包括活检前、活检钳夹持时和活检后分别对应的内窥镜图像,若是则内窥镜的活检全程信息值为1,并进入S67,否则内窥镜的活检全程信息值为0,并进入S67; S66、令应活检信息值、活检位置准确信息值和活检全程信息值均为0; S67、将应活检信息值、活检位置准确信息值和活检全程信息值作为内窥镜图像的活检信息; S7、根据内窥镜图像的整体评估信息、黏膜暴露度信息、部位识别度信息、染色信息和活检信息,利用内窥镜图像质量评估模型对获取的内窥镜图像进行质量评估,得到内窥镜图像的质量评估结果。