基于深度学习算法的前房角超声生物显微镜图像自动评估系统

蒋维艳,颜瑜琳,程思敏,杨燕宁

0 引言

青光眼是全球第二大失明原因,也是不可逆性失明的首要原因[1]。原发性闭角型青光眼(primary angle-closure glaucoma,PACG)占全球双侧青光眼盲的50%。到2040年,全球PACG患者的数量将比2013年增加58.4%,达到3200万人[2-4]。PACG是眼部解剖结构异常导致房角结构狭窄,前房角关闭,房水流出受阻,眼压持续升高所致[5]。此外,PACG通常表现为急性,患者大多无症状,直到房角关闭发作。因此,早期发现房角关闭是防止永久性视力丧失的有效措施[6]。传统的房角关闭生物风险因素主要包括女性、中国人、短眼轴、浅前房以及大且厚的晶状体[7];最近研究证明,周边虹膜增厚、虹膜向前膨隆会增加房角闭合的风险[8-11]。因此,观察前房角(anterior chamber angle,ACA)解剖形态对于检测房角关闭和评估关闭风险至关重要[12]。ACA评估的参考临床标准是房角镜检查,但房角镜检查是主观的、定性的、可重复性低,取决于检查医生的临床经验[13]。前房角镜等检查方法的主观性导致了对客观成像方法的探索,超声生物显微镜(ultrasound biomicroscopy,UBM)具有较高的分辨率[14],也是目前能够显示虹膜后结构形态和进行定量测量的眼前节影像学手段之一[15-16]。但是,鉴于临床UBM检查基数大,UBM图像评估需要经验丰富的医生且判断结果主观性高、耗时长,提高UBM图像在PACG中的诊断效率和准确度,减轻医疗负担是目前需要解决的问题。

近年来,人工智能(artificial intelligence,AI)在眼科领域迅速发展,包括糖尿病视网膜病变、年龄相关性黄斑变性、青光眼和早产儿视网膜病变[17-19];最近,有研究报道了基于人工智能的房角开闭状态的自动检测和巩膜突的自动定位系统的开发[20-21]。然而,为了减少ACA组织的标记和自动分割的难度,既往研究中角膜、巩膜、虹膜和睫状体在UBM图像中经常被标记为一个类别;对ACA组织区域进行细致自动分割的模型较少,在UBM图像中测量ACA相关参数的研究较少。因此,本研究基于UBM图像,通过卷积神经网络(convolutional neural networks,CNNs)深度学习建立自动识别分割结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域,自动识别房角开闭状态,建立不依赖于人为标记的全自动巩膜突定位和自动测量ACA参数系统,旨在探索出能够快速、准确地测量和评估UBM图像的方法,以减轻社会和医疗负担,为PACG的早期诊断提供依据。

1 资料和方法

1.1 资料

1.1.1UBM图像收集采用诊断试验性研究方法,回顾性收集2021-01/2022-06于武汉大学人民医院眼科中心应用眼科超声显微镜(SW-2100,天津索维公司)进行检查的眼科UBM图像以及受试者的年龄、性别、临床诊断。眼科超声显微镜检查包括全景模式(超声探头频率为35MHz,扫描范围15.25mm×9.50mm)、半景模式(超声探头频率为50MHz,扫描范围9.75mm×6.00mm),所有图像均由同一位工作经验20a以上的资深眼科技师采集,操作时严格按照规范进行检测,收集的图像均为BMP格式,1.91Mb以上,1024×655像素。本研究经武汉大学人民医院伦理委员会审核通过(No.WDRY-2022-K109),所有操作均遵循《赫尔辛基宣言》。由于本研究是一项回顾性研究,并使用脱敏UBM图像,因此无需受试者知情同意。

1.1.2UBM图像筛选及分类收集的图像均由专业眼科医生进行筛选,剔除ACA组织显影不清晰,伪影,虹膜变形延长,虹膜根部离断、虹膜萎缩、药物性瞳孔散大等不合格图像,最终获得受试者675名1130眼的UBM图像4196张,其中闭角(前房角关闭)图像1724张,非闭角(前房角开放或前房角狭窄)图像2472张,每张图像仅包含一侧前房角,按照 3∶1的比例随机设置训练集和测试集。另选取黄石爱尔眼科医院的受试者127名221眼的UBM图像631张做外部数据集(一)(眼科超声显微镜,SW-3200,天津索维公司),武汉大学中南医院的受试者188名257眼的UBM图像594张做外部数据集(二)(眼科超声显微镜,SW-2100,天津索维公司),评估该系统在不同环境下的性能,不同数据集分类数据见表1、2。

表1 收集数据基线信息

表2 收集数据数量及分布 张

1.2 方法

1.2.1UBM图像的标记每幅图像初始均由2名3a以上临床工作经验的眼科医师手动独立标记,利用VCG IMAGE Annotator图像标记软件(版本号2.0.0),根据ACA解剖形态学关系以及各组织在UBM图像中的表现[22-23],标记结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域(图1)、巩膜突(图2),以标记位置的平均值作为参考标准,由第3位更高年资的眼科医师进行检查并校正。此外,每幅图像初始均由2名3a以上临床工作经验的眼科医师标记房角开闭状态(闭角或非闭角),若虹膜接触小梁网,则定义为前房角关闭[5],标记结果出现分歧时由第3位更高年资的眼科医师判定,获得最终的标记结果。

图1 人工标记的ACA结构UBM图像 A～D:非闭角图像;E～H:闭角图像。A、E为原始图像;B、F黄框内为标记的结膜、巩膜、角巩膜缘区域;C、G黄框内为标记的虹膜区域;D、H黄框内为标记的睫状体区域。

图2 人工标记的巩膜突位置 A:闭角图像;B:非闭角图像。红色箭头指向的黄色圆圈示人工标记的巩膜突位置。

1.2.2 深度学习卷积神经网络模型的建立

1.2.2.1UBM图像大小识别及建立分割模型眼科超声显微镜具有两种成像模式,即全景模式和半景模式。为实现模型在不同成像模式下的适用性,编写Python图像处理程序,自动识别UBM图像下方固定坐标轴固定坐标值(0.25mm)的像素值,并自动将所有后续参数从像素值转换为数值(图3);采用Unet++模型[24-25]分割结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域。

图3 UBM图像大小转换示意图 A:半景模式图像,每一小格的坐标值为0.25mm,代表26px;B:全景模式图像,每一小格的坐标值为0.25mm,代表16px;C、D:模型识别示意图,模型自动识别下方固定坐标轴固定坐标值(0.25mm)并自动识别计算坐标值对应像素值大小(黄色双箭头长度所占的像素值),将图像自动分为半景模式图像(C:像素值为26px)或全景模式图像(D:像素值为16px)。

1.2.2.2房角开闭状态的分类既往研究采用多种算法构建房角分类模型,通过支持向量机(support vector machine,SVM)算法构建的模型预测性能最优[26-28],本研究通过测试集评估模型性能。

1.2.2.3巩膜突的自动定位通过编写Python图像处理程序,依据上述巩膜突的解剖位置以及解剖形态学关系,以睫状体止点及止点处巩膜向角膜移行500μm的范围内标定巩膜相对最厚处为深度学习模型定位巩膜突(deep learning located scleral spur,DLLSS)。

1.2.2.4ACA参数的量化(1)ACA角度参数:用于定量评估UBM图像中ACA的角度参数包括小梁虹膜夹角(trabecular-iris angle,TIA)、房角开放距离(angle-opening distance,AOD)、房角隐窝面积(angle recess area,ARA)、虹膜小梁间隙(trabecular iris space area,TISA)。UBM图像分析中,基于500、750μm前巩膜突的角度参数测量已广泛用于临床实践[29-30]。通过编写Python图像处理程序,基于2个半径的圆,确定圆与角膜内表面的交点,通过垂直于角膜内表面的交点画一条直线,确定交于虹膜前表面的交点,自动计算ACA角度参数。(2)ACA厚度参数:用于定量评估UBM图像中ACA厚度的主要参数包括虹膜周边部、中周部、中央部平均厚度、巩膜突前500μm处虹膜厚度及角膜厚度[30-31]。本研究尚未对角巩缘处结膜、巩膜、角膜进行进一步分割识别,为避免结膜及角巩膜缘不定性组织对角膜厚度测量的干扰,模型以巩膜突前500μm处角膜,即透明角膜作为测量指标。通过编写Python图像处理程序,基于虹膜长度将虹膜分为三等分,计算每一部分平均厚度,并基于半径500μm的圆,确定圆与角膜内表面及虹膜前表面的交点,通过垂直于两交点画两条直线,确定交于角膜外表面和虹膜后表面的交点,自动计算ACA厚度参数。

1.2.3 模型训练流程通过深度卷积网络(deep convolutional neural network,DCNN)1、DCNN2、DCNN3将UBM图像中结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域分别进行分割,SVM将分割后的UBM图像分类为闭角和非闭角,识别为闭角和非闭角的UBM图像;通过Python图像处理程序自动定位巩膜突,并计算ACA参数(图4)。计算机算法使用Python(3.6.5版)编写,开源Keras库(2.2.5版)和Tensor Flow库(1.12.2版)作为后端,使用具有1个NVIDIA Geforce RTX 2080(GPU内存8GB)的服务器训练模型。

图4 模型训练流程图。

1.2.4 模型性能评估采用内部测试数据集(武汉大学人民医院)、外部数据集(一)(黄石爱尔眼科医院)、武外部数据集(二)(武汉大学中南医院)对该模型的性能进行评价。

统计学分析:采用SPSS 25.0统计学软件进行统计分析。采用交并比(mean intersection over union,mIoU)和mean Dice (mDice)系数评估分割模型性能。将模型用于测试集图像诊断,采用准确度、灵敏度、特异度、阳性预测值(positive predictive value,PPV)、阴性预测值(negative predictive value,NPV)、受试者工作特征(receiver operating characteristic curve,ROC)曲线及曲线下面积(area under curve,AUC)评估房角开闭状态分类模型的性能。计算DLLSS和人工标记巩膜突(manually plotted scleral spur,MPSS)之间的欧氏距离(Euclid distance,ED)评估巩膜突定位模型的性能,并采用Kruskal-WallisH检验评估各数据集间巩膜突定位误差的差异。以MPSS测量结果为参考标准,计算以DLLSS与MPSS测量的ACA参数的平均相对误差(average relative error,ARE)、组内相关系数(intraclass correlation coefficient,ICC)及一致性限度(limits of agreement,LoA)评估MPSS与DLLSS之间ACA参数测量的一致性。通过线性回归评估巩膜突定位误差对ACA参数测量的影响。以P<0.05表示差异具有统计学意义。

2 结果

2.1 分割模型性能评估计算机模型DCNN1、DCNN2、DCNN3对内部测试集中412张图像进行结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域的标记结果与人工标记结果几乎相同(表3)。

表3 分割模型性能

2.2 房角开闭状态分类模型性能评估计算机SVM模型对房角开闭状态识别,内部测试集的准确度为95.71%,灵敏度为96.13%,特异度为98.38%,PPV为97.54%,NPV为94.70%;外部数据集(一)的准确度为92.76%,灵敏度为82.02%,特异度为98.94%,PPV为97.80%,NPV为90.53%;外部数据集(二)的准确度为95.40%,灵敏度为87.67%,特异度为99.75%,PPV为99.50%,NPV为93.50%,混淆矩阵见图5。内部测试集、外部数据集(一)、外部数据集(二)的AUC分别为0.98、0.99、0.98,ROC曲线见图6。

图5 房角开闭状态分类模型在各测试集中的混淆矩阵 A:内部测试集;B:外部数据集(一);C:外部数据集(二)。

图6 房角开闭状态分类模型在各数据集中的ROC曲线 红色曲线为内部测试集结果;蓝色曲线为外部数据集(一)结果;绿色曲线为外部数据集(二)结果。

2.3 巩膜突定位模型性能评估以MPSS的坐标作为参考标准,MPSS与DLLSS之间的欧氏距离及其分布情况见表4。不同数据集巩膜突定位误差比较,差异有统计学意义(H=93.040,P<0.001);不同闭角数据集巩膜突定位误差两两比较,差异均无统计学意义(P>0.05),不同非闭角数据集巩膜突定位误差两两比较,部分差异有统计学意义(P<0.05),不同闭角和非闭角数据集巩膜突定位误差两两比较,部分差异有统计学意义(P<0.05)。不同欧式距离的代表性图像见图7。

表4 不同数据集MPSS与DLLSS之间的欧氏距离及其分布情况

图7 MPSS与DLLSS之间不同欧氏距离的代表性UBM图像 A:非闭角图像;B:闭角图像。红色圆点代表人工标记的巩膜突位置;黄色圆点代表深度学习系统自动定位的巩膜突位置;dis表示欧氏距离。

2.4 非闭角图像ACA角度参数的量化评估各非闭角数据集图像ACA角度参数的量化中,MPSS与DLLSS的角度测量值之间的误差较小,模型对TIA、AOD、ARA、TISA等ACA角度参数的自动测量与人工测量的吻合度高。内部测试集中,ACA角度参数测量值的ICC均大于0.960,TIA、TISA测量值的ICC均大于0.980;外部数据集也展现了相似的高吻合度,见表5。不同ACA角度宽度下巩膜突前500μm处ACA角度参数的测量结果见图8。

表5 MPSS与DLLSS之间ACA角度参数测量的一致性分析

2.5ACA厚度参数的量化评估各数据集ACA厚度参数的量化中,模型对IT500、Thick-cor等ACA厚度参数的自动测量与人工测量的吻合度高。内部测试集中,除内部闭角测试集图像IT500的测量值ICC为0.884,余内部测试集中,ACA厚度参数测量值的ICC均大于等于0.925;各外部数据集也展现了相似的高吻合度,见表6。不同房角开闭状态下ACA厚度参数的测量结果见图9。

图9 不同房角开闭状态下ACA厚度参数的测量结果 A、B:非闭角的UBM图像的测量结果;C、D:闭角的UBM图像的测量结果。Thick cor:距巩膜突500μm处角膜厚度,即AG长度;IT500:距巩膜突前500μm处虹膜厚度,即FH长度;IT1:虹膜周边部平均厚度;IT2:虹膜中周部平均厚度;IT3:虹膜中央部平均厚度;点O为巩膜突的位置;红色圆圈代表以点O为圆心,半径为500μm的圆;点A为圆与角膜内表面的交点;点G为过点A垂直于角膜外表面的直线与角膜外表面的交点;点F为圆与虹膜前表面的交点;点H为过点F垂直于虹膜后表面的直线与虹膜后表面的交点;红色实心圆点将虹膜分为周边部、中周部、中央部三等分。

表6 MPSS与DLLSS之间ACA厚度参数测量的一致性分析

2.6 巩膜突的定位误差对ACA参数测量的影响线性回归分析显示,巩膜突的定位误差与ACA参数的绝对误差呈正线性相关。内部测试集中,TIA750与ARA750的测量值误差受巩膜突定位误差的影响最大,决定系数(R2)分别为0.286、0.286,TISA500、AOD500的测量值误差受巩膜突定位误差的影响最小,R2分别为0.063、0.061;内部测试集中,ACA厚度参数测量值的误差受巩膜突自动定位误差的影响小,R2均小于0.100;外部测试集中存在相似的相关性,见表7、8。

表7 巩膜突的位置变化与ACA角度参数变化的线性回归分析

表8 巩膜突的位置变化与ACA厚度参数变化的线性回归分析

3 讨论

目前,国际上也有一些研究进行ACA自动评估系统的开发,如UBM Pro(美国,Paradigm Medical公司)一个基于UBM 图像的ACA量化程序[32];Lin等[33]开发了基于UBM图像测量角度参数和虹膜参数的软件。这些半自动化的方法均不可避免地存在操作者的主观性,不同的操作者可以使用不同的标准定位参考点,且即使在相同的定位标准下,由于图像分辨率和对比度的限制,也会出现一些定位误差。本研究开发并评估了一种使用深度学习算法的系统用于ACA的自动评估。结果表明,该人工智能系统可自动识别、分割UBM图像中结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域,模型训练效果较好;模型自动识别分割ACA组织区域具有相当高的准确性;同时,该系统能够将UBM图像自动分类为闭角(虹膜小梁接触)和非闭角图像,并自动定位巩膜突以及自动测量ACA参数。本研究构建的基于深度学习算法的ACA自动评估系统是完全自动化的,无需任何手动干预。这种ACA自动评估系统有助于推动原发性房角关闭性疾病(primary angle-closure disease,PACD)智能诊断系统的发展,并拓宽UBM成像在PACD的临床护理和科学研究中的应用。

本研究开发的房角开闭状态分类模型,以人工标记的分类结果为参考标准,在内部测试集中准确度为95.71%,灵敏度为96.13%,AUC为0.98,并在不同医院的UBM设备展示了相似的准确度(92.76%、95.40%)。既往研究中,Wang等[20]开发的模型对UBM图像进行闭角和非闭角分类的准确度为98.18%,灵敏度为98.74%;Li等[34]报道的模型可以实现对眼前节光相干断层扫描(anterior segment optical coherence tomography,AS-OCT)图像的高精度分类,将图像分为房角关闭、房角狭窄、房角开放,总体灵敏

度为0.989。与上述系统相比,本研究构建的深度学习系统表现出相似的分类性能。

本研究开发的自动巩膜突定位模型,在内部非闭角测试集中,92.43%的ED≤150μm;在内部闭角测试集中,78.81%的ED≤150μm,且在不同医院的UBM设备上具有相似的定位能力。既往研究中,Wang等[35]报道了在UBM非闭角图像中MPSS与DLLSS之间的平均ED为60.41±49.02 μm,96.12%的图像的ED小于150μm;Xu等[21]报道自动巩膜突定位模型在闭角和非闭角的AS-OCT图像中,97.18%的图像的ED小于200μm。既往研究对UBM图像及AS-OCT图像的自动巩膜突定位模型建立均基于算法对人工标记巩膜突的学习,本研究开发的自动巩膜突定位模型不依赖于对人工标记巩膜突的学习,而是在对ACA组织自动分割识别后,基于巩膜突的解剖位置以及解剖形态学关系利用Python程序自动定位巩膜突。尽管本模型对于定位非闭角图像巩膜突的性能优于闭角图像,但结果与上述既往研究结果基本一致,分析原因可能是由于ACA闭合时虹膜和巩膜相贴附或相黏连,虹膜和巩膜在UBM图像上边界模糊不清。因此,未来仍需纳入更大样本量训练模型以及提高UBM成像的分辨率来改善目前的不足。

本研究发现,内部非闭角测试集图像ACA角度参数测量值的ICC均超过0.960,TIA、TISA测量值的ICC均大于0.980;内部测试集中,除内部闭角测试集图像IT500的测量值ICC为0.884,余内部测试集中,ACA厚度参数测量值的ICC均大于等于0.925。Wang等[20]描述了使用UBM图像对ACA参数的自动测量,并报道TIA、AOD和ARA的ICC均超过0.935。Li等[36]实现了TIA的自动测量,ICC为0.95,变异系数(coefficient of variation,CV)为6.8%,重现性为6.1度。与上述研究相比,本研究构建的基于深度学习算法的模型与人工测量结果取得了更好的一致性,且该模型在不同的UBM机器上也展现了良好的一致性。

ACA参数的精确测量很大程度上取决于巩膜突的精准定位。本研究各数据集UBM图像中巩膜突的定位误差与ACA参数绝对误差的线性回归分析显示二者呈正线性相关。巩膜突自动定位的误差在一定程度上解释了ACA参数自动测量的差异。在内部测试集中,ARA500、ARA750的测量误差受巩膜突定位误差的影响大(R2=0.219、0.286,均P<0.0001),TISA500、TISA750的测量误差受巩膜突定位误差的影响小(R2=0.063、0.128,均P<0.0001);这可以通过ARA与TISA的定义解释,ARA代表房角隐窝间的面积,包含房角隐窝顶点与巩膜突之间围成面积,巩膜突定位误差越大,此部分面积误差也会越大,而TISA代表小梁网虹膜间的面积,不包含房角隐窝顶点与巩膜突之间围成面积,这可能是ARA更易受巩膜突定位误差影响的原因之一。ACA厚度参数测量误差受巩膜突定位误差的影响小(均R2<0.1,均P<0.05),这可能与AOD、TIA的R2较小的原因相同。既往研究报道,不平整的虹膜表面对距离及角度的测量影响较小,但对面积测量的影响较大[20],这也与本研究结果一致。

本研究开发的深度学习系统可以自动检测UBM图像中的房角开闭状态和自动定量测量ACA参数。使用UBM成像和该系统可以帮助筛查PACG高危人群,从而通过干预措施防止视力丧失。该系统还可以动态测量患者的ACA参数,并检测ACA参数的变化趋势;通过该系统自动测量治疗前后的ACA参数,能够帮助临床医生评估治疗效果。由于在欠发达地区患者获得具有丰富临床经验的UBM专家的机会有限,该系统还可以与远程医疗结合,以帮助决定是否需要转诊并进一步接受评估和治疗。但本研究存在一定的局限性:(1)由于模型训练的所有UBM图像均来自同一台UBM设备,尽管在本研究中模型在不同医院的UBM设备所采集的图像具有良好的检测效果,但不同医院的UBM设备之间仍存在差异。(2)由于UBM图像标记过程是主观的,因此在标记过程中可能会引入人为错误。当深度学习模型根据眼科医生的标记结果进行学习时,不可避免地学习人为错误。有研究发现,随着注释专家数量的增加,注释结果的客观性也会增加,误差将更趋近于0[37]。(3)尽管本研究初步实现了对ACA结构的识别分割、房角开闭状态的判断及ACA参数的测量,但并没有通过深度学习系统对房角关闭机制进行分类,本研究团队目前正在开发基于解剖形态学角度对于PACG房角关闭机制进行可解释性分类,以期能够开发可用于临床推广的PACG智能辅助模型。

综上所述,本研究构建的基于眼科UBM图像的ACA自动评估及巩膜突自动定位系统实现了可靠的、可重复的房角开闭状态自动检测及ACA参数的自动测量,能够辅助临床医师更快、更好地对检查结果进行分析,为诊断提供较可靠的依据,为实现青光眼患者ACA的定量测量提供支持,具有重要价值,且具有一定程度的普适性。未来仍需进一步开发更加完善的PACG智能辅助系统,以期广泛应用于临床。