计算机辅助诊断人脸形态学疾病研究综述

2020-10-10 00:59宋文爱杨吉江梁雅琪高雪梅李海振
计算机工程与应用 2020年19期
关键词:形态学人脸分类器

郭 静,宋文爱,杨吉江,王 青,梁雅琪,雷 毅,高雪梅,李海振

1.中北大学 软件学院,太原030051

2.清华大学 信息技术研究院,北京100084

3.北京大学口腔医学院 口腔医院正畸科,北京100081

1 引言

近年来,人工智能结合基因检测技术在图像诊断中的应用显示出其突出的优势。人脸形态学辅助诊断研究是针对发生人脸形态学变化的患者,对患者的人脸部图像进行关键点特征提取,接着使用提取到的特征构建模型,分步进行模型的训练,并与疾病数据库进行比较,评估和改进模型,最终获得人脸形态学辅助诊断系统[1]。除根据信息进行身份验证,广泛应用于经济、安全、社交等领域外,逐渐进入医疗行业。使用计算机辅助软件可以帮助高精度的诊断早期疾病,应用于一些特殊疾病的辅助诊断,可以缩短疾病诊断期,改善医疗资源不足的问题,在部分研究中其对疾病的识别正确率甚至高于相应领域的专家。所以,在一些不发达地区和国家,进行非侵入式的计算机辅助诊断研究很重要,因为这些地区的患者缺乏专业性的医护人员。

生活环境、遗传、疾病等因素不仅会影响人身体的正常运转,还会形成人体外在的变化,包括人脸部、躯体的形态学变化。而人脸部的种种特征都可以反应人身体的健康状况,医院工作人员可以通过捕捉人脸形态特征,对某些疾病进行初步诊断,并在下一步的判断中起到指导作用。根据不同的因素,导致人脸形态变化的疾病分为以下三类。

(1)由生活因素影响造成人脸形态学发生变化:地域、文化和习俗会形成不同的人脸形态学特征;周围的环境会导致一些精神疾病,从而改变面部的形态;孩子的不良习惯如张口呼吸、吐舌等都会导致牙、颌、面发育异常,形成突面型、小下颌、地包天等畸形;内分泌激素的异常也可能人脸形态学上的变化,比如肾上腺皮质长期分泌过多糖皮质激素造成内源性库欣综合征,人脸形态学表现为脂肪分布异常,该人脸特征被称为满月脸;腺垂体分泌生长激素过多所致相应生理功能异常的肢端肥大征,可出现头颅及面容宽大,颧骨高,下颌突出,鼻唇和舌肥大等表现。上呼吸道感染能造成鼻炎、咽炎和喉炎,都有可能使得儿童长时间张口呼吸,进而形成人脸形态学上的变化。

(2)由遗传因素影响造成人脸形态学发生变化:有基因遗传与染色体变异两种因素,在国内方面,李玉玲等[1]进行了学龄双生子儿童人脸特征的遗传学分析,发现基因遗传因素对男女头围、眼外角间、鼻宽的影响相对较大。不少遗传病患者有先天性脸部及全身畸形,如德朗热综合征患者和努南综合征患者。还有由染色体变异因素造成的22q11.2 微缺失综合征、唐氏综合征和特纳综合征等。

(3)因肿瘤、器官肿胀、感染、术后继发畸形等疾病造成人脸形态学变化:疾病可能导致人脸形态学上的特殊变化,比如破伤风患者会出现苦笑面容、柯兴氏综合征患儿会出现满月面容、由睡时上气道塌陷阻塞引起的呼吸暂停和通气不足,造成的阻塞性睡眠呼吸暂停低通气综合征患儿会出现腺样体面容、由第一和第二咽弓的解剖结构不对引起的半面短小症先天性颅面畸形等。

2 人脸形态学辅助诊断的原理和步骤

2.1 传统方法

由传统的人脸形态学辅助诊断技术可知,进行医学诊断的一般步骤为:患者的脸部图像获取并进行图像预处理;自动或半自动进行人脸标志点的识别;提取人脸特征数据;构建模型进行分类器分析,还可能通过不同步骤使用神经网络或其他技术。人脸辅助诊断流程图如图1所示。主要研究内容如下:

(1)在医疗机构设置统一的拍摄环境下,使用统一的设备采集受试者的标准正面或侧面照片,通过人脸检测技术,有VJ人脸检测器等,将照片中的人脸部分单独提取出来,并对图像进行灰度归一化、图像增强等,保证人脸大小、背景颜色统一,减少图像阴影影响。

(2)利用人脸分析软件在图像上标记人脸的眼睛、鼻子、嘴巴、眉毛等关键区域,先手动标记关键点的位置,然后训练模型自动标记关键点,常用算法有Face++的68 特征点标记。也可以根据临床医生诊断的特点,增减关键点,可以提高诊断正确率。

(3)人脸特征数据一般包括人脸的“质地”“几何”“颜色”等信息。质地特征一般用Gabor 小波变化滤波器和局部二值模式对关键点进行提取;几何特征用几何函数计算关键点间的几何距离作为特征向量;颜色特征常是对指定区域的像素值进行操作。

(4)得到测量数据后,构建模型进行分类器分析,通过优化后的模型代入人脸图像信息,根据相似度对疾病进行归类,得最终的“诊断”。当前所得研究中已通过的诊断分类方法主要有两种:一是,留一交叉验证,将实验者的人脸图像与其余所有图像(分为疾病组和对照组)根据相似度比较区别;二是,“训练”法,用一定数量的患者和对照组的人脸图像对软件进行“训练”,构建模型,形成模型的分辨力,再用“训练”后的模型对其他患者及对照组进行区别。

图1 人脸形态学辅助诊断流程图

2.2 Face2Gene辅助诊断系统

基于深度学习的诊断辅助系统Face2Gene,是一种自动检测和评估细微颅面畸形的分析工具,用于识别基于2D面部照片的罕见综合征,利用“格式塔”的聚合,包括对患者人脸图像特征的数据汇总,从而提出候选综合征。面部畸形新分析技术(Facial Dysmorphology Novel Analysis,FDNA)是由FDNA 公司开发的一种人脸图像疾病诊断方案,图像分析是基于将数学函数半自动放置在相关面部结构上的节点网格。这些函数通过使用Gabor小波变换(特征向量)评估节点距离和节点周围的图像纹理来评估几何形状。使用最大似然分类器对受试者进行训练,评估数据库中的任何一组(对照组受试者与患者)的相似性。总体分类精度采用十字交叉验证法计算,它将计算性人脸形态学识别与临床知识库[3]相结合,并在Face2Gene 应用程序中实现。Gurovich 等[4]训练了成千上万的患者图像,并用于量化基于无约束二维图像的数百种遗传综合症的相似性,直接使用DCNNs进行分类,并基于来自相邻域的知识转移模型的人脸识别框架deep gestalt,首先用深度格式塔识别二维人脸图像,然后进行人脸亚区域检测,利用DCNN 提取亚区域特征,最后利用特征融合建立数值信息,称为“格式塔”。2014年,Ferry等[5]使用该方法从普通的非临床照片中提取表型信息,并使用机器学习在一个多维的“临床面部显型空间”中模拟人类面部畸形。为通过功能遗传途径比较临床测序数据、推断致病基因变异提供了一种新的方法。

Face2Gene 被用来评估颅面表型的综合症,Zarate等[6]研究了72例SATB2相关综合征患者的基因型-表型相关性,SATB2相关综合征(SAS)的人脸形态学变化为上颚异常(裂或高拱),牙齿异常(拥挤、巨大齿、形状异常);Amudhavalli 等[7]研究了一种常染色体显性遗传的多系统疾病Aym_e-Gripp 综合征(AGS),使用2D 照片的自动人脸分析比较唐氏综合症患者人脸形态表现型,在两个独立的实验中,准确率分别为86.86%和89.05%;Knaus 等[8]研究了一种糖基磷脂酰肌醇生物合成缺陷(GPIBDs)可导致的一组具有智力缺陷的表型重叠隐性综合征,分析了计算机辅助面部格式塔在91 例患者中的表现;Martinez-Monseny等[9],研究了一种磷酸酶-2缺乏(PMM2-CDG)综合征,它与可识别的人脸形态学模式相关,这种疾病没有早期严重程度的预测因子,因此研究者通过对畸形特征(Dysmfeatures,DFs)的评估,创建了一个简单的分类,说明人脸形态学和数字分析可以帮助医生更快地诊断PMM2-CDG;Mishima等[10]利用日本先天性畸形综合征患者的人脸形态学图像评价face2Gene,使用从日本招募的两个患者组对face2Gene进行评估,表明该技术已经可以利用日本的先天性畸形综合征患者,向临床遗传学家推荐候选综合征。

3 人脸形态学辅助诊断技术在医学上的应用

3.1 生活因素影响造成疾病

生活、工作等环境经常会给人们造成精神,生理,心理等一系列问题,而这些因素通常会使得人们形成相似性的人脸形态学特征,精神不济和身体发育不良的症状,包括面容消瘦、头颅宽大、皮肤粗糙、色素沉着、鼻唇和舌肥大等。计算机辅助诊断传统研究通常对受试者的人脸图像经过预处理,然后提取全局或局部人脸部特征,将提取到的特征导入FIDA(Facial Image Diagnostic Aid)系统,用留一交叉验证得到实验评估结果。对于一些涉及精神类的疾病,则通过视频等构建模型,利用深度学习等方法进行研究。国内已有学者对不同地区、不同民族的成人脸部形态学发育特征进行了较为详细的调查。例如,宇克莉等[11]发现中国南、北方汉族头面部形态学特征存在差异,南方汉族人整体呈现头较窄,两眼间距离较小,鼻较长,唇较厚。

另有研究分别针对抑郁症、中医精神疾病、胎儿酒精谱系障碍、库欣综合征、肢端肥大征、慢性疲劳综合征的患者面部进行了形态学识别,具体介绍如下。

3.1.1 抑郁症

又称抑郁障碍,主要临床特征为显著而持久的心境低落。迄今,心理、社会环境等都可能作为抑郁症的病因。2015年,Wen等[12]构建了基于视觉的自动识别抑郁症框架,利用稀疏编码隐式组织提取的特征描述符进行抑郁诊断。2018年,Zhu等[13]提出了一种基于DCNN的抑郁症识别新方法,设计了一个双蒸汽框架的动态模型,分别以面部图像和面部动力学作为输入来建模凹陷信息,并构建联合调谐层。在AVEC2013数据库对抑郁症识别结果,如表1所示,AVEC2014数据库对抑郁症识别结果,如表2 所示,进行比较后发现基于深度卷积神经网络的抑郁症分析具有更高的性能。

表1 不同方法在AVEC2013上的抑郁症识别结果比较

表2 不同方法在AVEC2014上的抑郁症识别结果比较

3.1.2 中医精神疾病

2014 年,Sun 等[14]提出了一种基于特征的中医精神疾病自动定量特征分类系统,该疾病传统的诊断方法主要是基于中医的观察和他们的个人经验。该研究收集了126名参与者信息,进行数据挖掘后,建立分类模型,通过交叉验证,决策树的计算精度为92.0%。BP神经网络的计算精度为94.667%。支持向量机的分类精度为96.296%,得出了使用支持向量机分类模型对于该项疾病的诊断更有效。

3.1.3 胎儿酒精谱系障碍

胎儿酒精谱系障碍被公认为导致胎儿缺陷与儿童发育迟滞的主要原因之一,其人脸形态学特征包括眼睑裂短、人中平以及上唇薄等。2017 年,Valentine 等[15]使用人脸畸形新分析技术对该疾病患者进行面部分析,受试者操作特征曲线下的区域显示,与临床工作者相比,计算机辅助诊断更有效地识别酒精相关的神经发育障碍(ARND)病例。对ARND 患者的面部格式塔分析也发现,与更严重的FASD 患者的主要面部特征相比,前者具有更普遍的面部特征。

3.1.4 库欣综合征

2013 年,Kosilek 等[16]运用人脸形态学诊断技术对20例库欣综合征患者和40例健康人群的面部图像进行识别,通过预处理人脸图像并提取纹理特征与几何特征,最后导入系统FIDA,整体分类准确度达到了91.7%,用留一交叉验证法得到分类准确度为85%。

3.1.5 慢性疲劳综合征

2015 年,Chen 等[17]根据中医对慢性疲劳综合征(Chronic Fatigue Syndrome,CFS)患者的临床观察,发现患者前额、下眼睑、脸颊、鼻子和嘴的轮廓表现出特征性的疾病特点,因此提出了一种计算机辅助无创诊断CFS的混合外观特征提取与处理方法。HA特征由不同面部区域的颜色、质地和形状特征组成。基于相同的HA特征和评分级融合方法,比较了主成分分析(Principal Component Analysis,PCA)[18]、局域保留投影(Locality-Preservation Projection,LPP)[19]和流形保留投影(Manifold Preservation Projection,MPP)在测试集上的表现,采用PCA,降低了模型的维数,提高了模型的识别能力,但不能保留数据的非线性结构。LPP 具有较强的流形学习能力,因此可以很好地保持图像的非线性结构,但并不能维持面部的整体流形结构,而Zhang等人[20]提出的MPP,将数据的非局部性信息纳入局部性保留投影的目标函数中,保留了数据流形的局部和全局结构,并采用gramm-schmidt 正交化方法解决了LPP 的非正交问题,消除了Gabor 特征的冗余,最后提取出了有效的面部疲劳特征,接着采用Lin 等人[21]提出的两阶段融合方案进行多模态面部特征融合。实验结果,如表3 所示,这种HA-MPP-ADA 方法,在CFS 预测中比其他两种方法更有优势。

3.1.6 肢端肥大征

2011 年,Schneider 等[22]研究者募集了57 位肢端肥大症患者,根据疾病研究程度分成轻度、中度和重度,通过预处理图像、Gabor jet 相似度函数提取图像纹理特征、定位点的距离提取图像几何特征,最后导入系统FIDA,用留一交叉验证进行评估,结果显示71.9%的肢端肥大症患者和91.5%的对照者被该软件正确分类,医学专家对患者和对照者的正确视觉分类率都要低10%左右,而普通内科医生的分类率明显更低。2017 年,Kong 等[23]使用Opencv 检测人脸边框,提取出作为临床潜在指标的人脸地标位置,采用前视化的方法综合正面的视图来提高性能。训练并整合了广义线性模型(LM)、k-邻近(KNN)、支持向量机(SVM)、随机森林(RT)和卷积神经网络(CNN),创建了一种用于肢端肥大症面部检测的集成方法(EM),提取面部标志物,合成正面人脸。训练后的模型使用单独的数据集进行评估,结果如表4所示。在面部标志物位置上,支持向量机的工作效果最好,PPV(阳性预测值)为95%,NPV(阴性预测值)为88%,敏感性为86%,特异性为96%;在检测到的面部照片中,CNN 表现较好,在人脸正面化后,性能进一步提高,PPV 为96%,NPV 为92%,敏感性为91%,特异性为96%,CNN 的准确度远高于SVM 训练的手工特征,表明深层神经网络能够以分层的方式产生概念抽象,从而显示出自动提取底层特征的能力;集成方法结果最佳,PPV 为96%,NPV 为95%,敏感性为96%,特异性为96%。

表3 不同方法在训练集和测试集的实验结果 %

表4 评价不同方法的特异性和敏感性 %

2017年,Shukla等[24]提出了一种从面部图像中检测发育障碍的新框架。发育障碍是一种慢性疾病,包括自闭症谱系障碍、脑性麻痹、胎儿酒精综合症、唐氏综合症、智力障碍和早衰症等一系列疾病,会严重影响人的正常生活。该框架采用DCNN对人脸特征进行提取,并使用大量数据将该方法与类似模型的准确性进行了比较。该模型的准确度达到了98.80%,如表5 所示,优于所有手工标记的特征分类器模型。

表5 分类器方法比较 %

3.1.7 总结

经过对上述研究分析可知,针对于生活因素造成疾病的分类检测,由DCNN 构建的模型,在经过大量数据训练后,准确率最高;针对单项疾病的诊断,使用FIDA系统的准确率要高于医学专家和普通的内科医生;而对于一些特殊的疾病,根据其人脸形态学上的独特特征,可以采取一些类似于流行保留投影方法来降低Gabor特征维度,使准确率变得更高;还可以通过整合不同的经典分类器的优点,形成一种集成分类器,准确率优于其他,并且可以再在其他疾病上进行试验,证明其是否对其他疾病具有通用的效果。

3.2 遗传因素造成疾病

医学遗传学家的目标是在进行细胞学或分子分析之前,根据人脸形态学特征对潜在的证候进行预诊断,生物相关综合征存在明显的临床重叠[25],相同基因造成的疾病具有相似的人脸形态学特征。因此,常利用造成该疾病的基因,进行人脸形态学的表型研究,多运用深度学习的方法,也有部分运用传统方法提取局部特征进行研究。遗传综合征影响了8%的人口[26],对患者和社会的影响严重,因此,在患者到达医院进行正式诊断前给予早期预警具有重要意义。

3.2.1 基因遗传

2019 年,文献[27]使用模拟人脸畸形的分析算法,从3 个新的智力残疾基因(PACS1、PPM1D 和PHIP)中包含致病变体的智力残疾患者照片中提取脸部特征。将提取的关键特征合并到一个混合模型中,并使用Koolen-de Vries综合征患者的图像来验证模型,结果表明在PACS1、PPM1D和PHIP中具有致病变异的个体存在面部格式。Tu等[28]从三维人脸的正面、左侧和右侧3个方向研究形态学变化。通过三维可变形模型估计三维人脸形状,计算面部变形测量值。三维重建人脸计算出的几何特征在检测遗传综合征相关面部畸形的准确性为73%,而使用最先进的方法从二维图像中获得的正确率为58%。当加入局部纹理信息时,准确率提高到96%。2019 年,Pascolini等[29]发现在智力残疾综合征中,染色质重塑发育障碍(Developmental Disorders of Chromatin Remodeling,DDCRs)是一类因染色质重塑异常而导致的以特征性面孔和可变认知障碍为特征的畸形障碍。使用深度格式塔技术,对120个含有组蛋白酶基因编码变异的个体进行了表型研究。最后的研究结果表明,这类疾病具有明显的异型性,从而导致疾病的发生。

同时,根据遗传综合征诊断的数目,研究可分为单一综合征患者与正常人的判别诊断和多种综合征中识别出某种综合征的患者。

(1)单一遗传综合征的诊断研究

德朗热综合征(Cornelia de Lange Syndrome,CdLS)为常染色体显性遗传,人脸形态学表现为:弓形眉、短鼻、鼻孔前倾、长人中、上唇薄等特征。CdLS 的患病人群中,有60%由NPBL 基因突变导致。2020 年,Latorre-Pellicer 等[30]对49 名已知CdLS 基因中存在致病变异的个体进行了人脸表型研究,结果表明,临床经典表型和受影响的基因之间存在相关性。努南综合征(Noonan Syndrome,NS)为常染色体显性/隐性遗传,患者人脸形态学特征包括前额宽阔、眼睑下垂、眼距宽、鼻梁低平、小下颌、低耳位等,且患病时间越长,特殊面容会逐渐趋于正常,因此早期识别诊断和及时干预该疾病极为重要。2019年,Li等[31]研究者利用人工智能描述了与基因相关的NS 的面部特征,该研究鉴定了103 例中国患者中8 个NS 相关基因的致病变异,而基因相关的面部表征表明,每个基因都和不同的面部细节相关。X连锁少汗性外胚层发育不良(X-Linked Hypohidrotic Ectodermal Dysplasia,XLHED)是一种影响外胚层结构的遗传性疾病,表现为特征性的人脸形态学外观。

2016年,Basel-Vanagaite等[32]用FDNA技术对CdLS患者进行识别,其正确识别率为87%。将患者按不同的基因突变因素分类再次训练模型,其对CdLS 患者的检测率增加到94%。2017 年,Kruszka 等[25]使用来自20 个国家的NS 患儿的图像作为标注样本量,通过FDNA 技术对NS 患者进行识别,发现敏感性为94%,特异性为90%。2017 年,Hadj-Rabia 等[33]研究了FDNA 技术从XLHED 患者面部图像中检测表现型的能力,该系统检测到该疾病在所有经基因确认的所有年龄的男性患者和55%的杂合子女性患者中是最有可能的诊断。这些研究表明,FDNA技术可以支持临床医生对于这些疾病做出准确诊断,遗传学知识与人工智能相结合可以达到更佳的诊疗效果。

(2)多种遗传综合征中的精确疾病诊断

Loos 等[34]研究者使用55 名涉及黏多糖病类型III、德朗热、脆性X、Prader-Willi、Williams-Beuren 综合症的患者面部图像提取其面容特征建立各综合征特定面部模型,76%的患者被正确分类,高于临床专家62%的准确识别率。该研究表明一种综合征的面部特征可以被塑造成特定的面部模式,并且这些模式可以通过数学工具进行比较。这一成果为分析面部“格式塔”的遗传变异提供了定量的基础。2006 年,Boehringer 等[35]研究分析了10 种综合征的识别情况,基于计算机的诊断分类准确率可以超过75%,与之前的研究中5 个证候的分类准确率相同。对证候的两两鉴别范围为80%~99%,并在2011年[36]调查了统计分类器对研究数据(包括202名受14 种综合征之一影响的患者)的分类能力。2016年,Gripp等[3]研究者应用外显子组分析确定了许多智力障碍综合征的遗传基础。以Nicolaides-Baraitser和Coffin-Siris综合征为例,使用基于FDNA技术的Face2Gene脸部分析软件,以识别畸形特征并评估与已知面部模式(格式塔)的相似性。2017 年,Liehr 等[37]使用FDNA 技术,从2D面部照片中自动识别Emanuel(ES)和Pallister-Killian(PKS)综合征与其他SSMCS 患者的相关面部表型,最佳分割正确率为92.8%。2018年,Pantel等[38]选择了有溶酶体贮藏病、粘脂沉积病、粘多糖沉积病的I型和II 型、Smith-Lemli-Opitz 综合征或Nicolaies-Baraitser 综合征这5种疾病的289名患者训练分类器,在Face2Gene的研究应用程序进行实验,达到平均准确率为62%。上述研究表明,FDNA 技术的数据可以补充临床表型总结,提供独立于临床医生个人经验和偏见的数据。

2004 年,Hammond 等[39]研究者首次运用三维面部图像分析方法对NS和Velo-Cardio-Facial综合症患者进行检测。选用最接近均值、C5.0决策树、神经网络、逻辑回归和支持向量机的模式识别算法。在对努南综合征患者和Velo-Cardio-Facial综合征患者的比较中,两种综合征的敏感性和特异性均达到95%,如表6所示。

表6 交叉验证的平均敏感性和特异性%

2014 年,Kuru 等[40]提出视觉诊断决策支持系统(Visual Diagnostic Decision Support System,VDDSS),将机器学习算法和数字图像处理技术应用于医学遗传学的自动化诊断。该方法利用参考图像的人脸形态学特征来识别视觉基因型与人脸形态学表现型的相互关系。采用15种不同的证候的留一交叉验证方案进行试验,自动诊断技术的准确度为83%。说明大量具有特征面部异常模式的综合征可以通过与本研究相似的诊断性DSS进行诊断。

2016年,Cerrolaza等[41]结合几何特征和标记点的纹理特征对0至3岁的孩子的15种遗传综合症(包括唐氏综合症、胎儿酒精谱系障碍、克氏综合征等)进行人脸形态学辅助诊断。使用普氏分析法进行图像预处理,利用曲线下最大面积(AUC)准则,选择得到预测特征的最优子集,最后采用径向基核支持向量机、线性支持向量机和线性判别分析3 种不同的分类器对该方法进行了评估,并采用了交叉验证方法,径向基核支持向量机分类器准确度能达到95%,如表7所示。

表7 分类器的性能比较

2018 年,Özdemir 等[42]根据以往的研究文献发现基于神经网络的分类器,当综合征增加时识别率会变低,因此提出了一个基于人工神经网络的分级决策树模型,并且与KNN和人工神经网络分类器进行了对比。通过对五种综合征(染色体脆弱症、贺勒氏综合征、普瑞德威利综合症、唐氏综合征、狼赫氏综合征)的测试,得到了86.7%的结果,如表8所示。

表8 KNN、ANN、分级决策树与临床专家的分类结果

2018年,Gurovich等[43]在大规模的不同疾病症状图像数据库上训练DCNN,形成一个一般的面部模型,然后针对性的用小的表型数据集对每个区域的DCNN 模型进行微调。将Keras 和TensorFlow 作为后端,形成了3种模型:一个二元模型——通过训练来识别一个单一的综合征,在对CdLS疾病的诊断中,DeepGestalt方法准确度为96.88%,高于Rohatgi 等[44]取得的75%的准确度和Basel-Vanagaite 等[32]87%的准确度,在对Angelman综合征的诊断中,DeepGestalt 方法准确度为92%,高于Bird等[45]取得的71%的准确度;专门的格式塔模型——识别与努南综合征相关的5个基因的正确面部表型;多类格式塔模型——对不同综合征进行分类,达到91%的准确度。

3.2.2 遗传变异

染色体异常遗传病是先天性心脏病、智能发育不全等的重要原因之一,在新生儿中发病率约1%。其中具有代表性的染色体异常遗传病如下所示。

(1)Down综合征

Down 综合征是因21 号染色体异常,导致的最常见的一种常染色体异常性疾病[46]。患者通常智力低下,有先天性心脏病,会出现包括小头畸形、面圆而扁平、宽眼距、低鼻梁、内眦赘皮、伸舌及眼角上斜等的特殊面容[47],2011 年,Burçin 等[48]使用局部二值模式方法进行特征提取,分类采用欧氏距离法和经过改变的曼哈顿距离法。经过改变的曼哈顿距离法可以将系统成功率由89.7%:提高至95.3%。2012 年,Saraydemir等[49]对1 至12 岁的儿童人脸图像进行标准化处理,然后使用Gabor 小波变换进行特征提取。利用线性判别分析方法推导出了最有价值信息的新维数。最后用KNN 和线性支持向量机进行分类,最佳结果的准确度为97.34%。

2013 年,Zhao 等[50]利用约束局部模型定位人脸标志,提取基于局部二值模式的几何特征和纹理特征,在特征选择后,采用多个分类器对唐氏综合征与正常病例进行分类。结果表明,在局部纹理特征优于几何特征的情况下,采用基于RBF核的支持向量机作为分类器,准确度达到94.6%,并且具有较高的召回率。在临床环境中,95.5%的高召回率是可取的,因为作为筛查工具,应该尽可能少地漏掉综合征。结果证明了该技术分析高度可变的数据的鲁棒性,可以继续研究包括侧视图图像的特征,并研究更有效的特征融合方法。在2014年,文献[51]提出了一种基于独立分量分析(ICA)的分级约束局部模型(HCLM)。用基于熵的非参数数据驱动独立分量排序的局部建模能力,可以得到最佳选择和分类性能,模型的层次结构通过将不同的模型分别对不同的组进行拟合,提高了地标检测的准确性。提取了基于局部二值模式和Gabor 小波变换的几何特征和局部纹理特征来描述唐氏综合征与健康人群的人脸形态学变化。通过特征融合和选择,训练支持向量机(包括线性基函数核和径向基函数核)、k-近邻(KNN)、随机森林(RF)和线性判别分析(LDA)等分类器识别唐氏综合征病例,获得最高的准确度96.7%。如表9所示,结果表明,通过LDA 对整合后的特征进行分类性能较好,可扩展到其他遗传综合征的检测。

表9 不同的特征和分类器进行唐氏综合征检测的准确度 %

接着提出了一种基于集成学习面部分析唐氏综合症的计算机辅助诊断系统[52]。首先基于自动定位的人脸地标提取几何特征和纹理特征,进行特征融合和选择,然后采用多分类器(即支持向量机、随机森林和线性判别分析)对唐氏综合征患者进行识别。通过集成学习方法(包括多数投票MV、集成分类器PFM、均值规则Mean、中值规则Median和最大值规则Max)从不同的分类器中获取共享的和互补的信息,最优地组合这些分类器的输出,最终实现准确可靠的决策。采用基于径向基函数和线性核函数的支持向量机进行分类,在单个分类器中效果最佳。集成学习的误分类率降低了19.5%,优于最优个体分类器。

2018年,Dima等[53]测试了4种用于唐氏综合征数字图像识别的特征提取方法:经典的局部二值模式(LBP)方法;离散小波变换(DWT)与LBP的结合;以AT&T为特征面提供者的特征面投影方法;对AT&T的LBP特征主成分的投影方法。用三度多项式核SVM 作为分类器,在噪声存在的情况下,投影方法是最好的(尤其是AT&T 人脸的LBP 主成分上的投影),其次是DWT 与LBP的结合。对于投影方法,可以进一步测试建立特征面或主成分的数据集的影响。

2017年,Lumaka等[54]应用FDNA face2Gene解决方案来评估唐氏综合征(DS)面部识别,发现Face2Gene对白种人DS的识别率(80%)高于非洲人(36.8%),用一组非洲DS 和非DS 的照片训练了face2Gene,非洲人的认可度上升到94.7%。2018 年,Vorravanpreecha 等[55]使用Face2Gene 工具,测试患有唐氏综合症(DS)的泰国儿童与没有患有唐氏综合症(non-DS)的泰国儿童的识别概率,得到87.2%的特异性,准确度为89%。2016 年,Kruszka 等[56]以来自13 个国家不同种族的DS 患儿的照片和临床资料作为标注样本量建立检测模型,结果显示,临床特征在不同种族(非洲人、亚洲人、拉丁美洲人)中存在差异,包括出现短头畸形、耳畸形、侧手畸形、凉鞋间隙、颈部皮肤丰富等,其DS 检出准确度为94.3%。人脸检测技术用于Down 综合征患者检测的相关文献总结,如表10所示。

表10 相关文献研究总结 %

(2)22q11.2微缺失综合征

22q11.2 微缺失综合征是因22q11.2 杂合缺失导致的一种常见的常染色体变异疾病,患者会有先天性心脏病、免疫缺陷、甲状旁腺发育不良、腭裂等状况[57],会出现小眼、眼距宽、鼻根狭小、鼻翼小、唇薄、小下颌、低耳位和耳廓异常等特殊面容[58]。2012年,Wilamowska等[59]运用3D 成像技术建立22q11.2 缺失综合征的头面部网格图像模型,自动生成新的全局和局部数据,鲁棒自动放置人体测量地标,生成面部特征的局部描述符,并预测局部面部特征用于22q11.2DS特征分类,识别准确度达79%。但使用3D 数字摄影测量的图像采集系统昂贵,实施困难大,在许多临床中心的应用可行性较低。2017年,Mok等[60]利用美国国立卫生研究院创建的来自不同人群的人类畸形综合征图谱(NIH)中种族匹配的患者图像以及经分子水平鉴定为22q11.2DS 的中国受试者的临床照片,对面部识别技术进行训练;Kruszka等[61]使用人脸形态学分析技术,只使用面部几何特征时的敏感性、特异性和诊断准确性分别为83.3%、85.9%和84.6%,当使用几何和纹理特征时,敏感性增加到96.2%,特异性为93.6%,精度为94.9%。

(3)Turner综合征

Turner综合征是因性染色体变异导致的先天性卵巢发育不全综合征,患者表现为身矮、生殖器与第二性征不发育、躯体特征为多痣、眼睑下垂、耳大位低、腭弓高、后发际低,颈短而宽等。2018年,Song等[62]训练了68个特征点模型来提取受试者人脸图像的全局几何特征、纹理特征、局部的5 个特征:前额、黑色素细胞痣、内眦赘皮、鼻梁、双眼间距。用PCA 进行降维,融合多个面部特征来提高识别精度,同时将全局几何特征、全局纹理特征使用SVM 进行分类、局部特征融合后用Adaboost进行分类,最后用十字交叉验证,结果显示效果最好的是局部特征融合后用Adaboost 分类。识别结果如表11所示。

表11 不同特征的识别结果 %

(4)3D法布里

2007年,Cox-Brinkman等[63]用基于表面的形状差异密集表面模型(DSMs)阐明法布里病患者的畸形人脸形态学特征,过程中生成平均脸进行对比,在识别测试中,使用了最接近均值、线性判别分析和支持向量机3种统计模式识别算法。面部不同部位的形态分析显示,男性患者的脸型差异显著,女性患者的脸型差异较小。尽管在统计学上证明了与健康对照组的面部形状有显著差异,但检测的异常明显程度低于患有其他多种人脸形态学疾病的患者。实验结果如表12所示。

表12 3种模式识别算法的平均总体识别性能%

3.2.3 总结

基因遗传病的研究整体可以分为三大类别:(1)单一综合症和其他人口——一个二进制分类问题,区分正常受试者与特定综合征对象或区分两种特定综合征[25,32,37,39,43]。 其 中 ,文 献[43]采 用 大 量 的 数 据 量 对DCNN 进行训练,使得模型自动标记的效果最好,采用支持向量机的模式识别算法进行三维面部分析对疾病二分类效果次之。(2)综合症患者与正常人的对比——一个将任何综合症的受试者与正常(未受影响的)受试者[18,29,39,41-42]进行区分的二元分类问题,其中,文献[39]采用神经网络的分类器可以使NS 的特异性达到96%,VCFS 的特异性达到97%。文献[18]通过三维可变模型,在加入局部纹理信息训练分类器之后,可以使疾病的诊断准确度达到96%,超过其他方法的诊断效果,可以在其他疾病中进行尝试。(3)多证候分类——从多种可能的证候[33-36,38-40,43]中识别正确的证候的多类问题。文献[33]构建的多类格式塔模型对不同综合征进行分类的准确度最高。

染色体变异导致的疾病中,通过面部检测识别唐氏综合征,提取基于LBP 的脸部特征,支持向量机作为分类器的性能较好,而多种分类器通过集成学习将信息共享,可以取得更准确的决策,通过FDNA 技术处理图像数据,大数据量的训练可以提高face2Gene的敏感性,患者的种族也会影响评估,训练可能会增加对特定种族的检测特异性。关于诊断22q11.2 微缺失综合征,使用患者人脸图像的几何和纹理特征,通过FDNA技术可以达到较好的分类效果。Tuner 综合征的诊断,可以通过将人脸局部特征融合后用Adaboost 分类来达到效果。目前报道的法布里患者的面部特征对诊断过程没有太大帮助。

3.3 肿瘤、器官肿胀、术后继发畸形等因素造成人脸形态学疾病

3.3.1 阻塞性睡眠呼吸暂停低通气综合征

由睡时上气道塌陷阻塞引起的呼吸暂停和通气不足,造成的阻塞性睡眠呼吸暂停低通气综合征(Obstructive Sleep Apnea-Hypopnea Syndrome,OSAHS)患儿会出现腺样体面容。2019年,Hu等[64]研究者集合了268名4~7 岁的儿童,使用Dlib68 点提取人脸特征,过程中使用平均脸对比与变形热图提取关键特征,最后将经过决策树、XGBoost、SVM 和KNN 方法分类的结果进行对比,得到腺样体人脸识别的最佳特异性为89.19%,最佳敏感性为88.24%,如表13所示。

表13 模型度量结果 %

Rong 等[65]获取了400 名打鼾患者面部自然状态下的正位和斜位照片。在使用支持向量机和PCA 的图像识别技术中,当AHI≥5 事件/时,算法的敏感性为74%,特异性为88%。在AHI≥30 事件/时的类别中,算法的敏感性提高到80%,特异性提高到91%。结果说明对重症患者,随着样本量的增加,AI 算法的诊断敏感性和特异性也会相应提高,可以作为OSAHS 诊断的筛选工具。

3.3.2 半面短小症

半面短小症是继唇腭裂之后第二大最常见的颅面出生缺陷,每3 000 个新生儿中就有一个患有半面短小症。2018年,Cassi等[66]利用一种三维、非侵入性和客观的方法来精确定位和定量面部不对称的半面体,对一组患有半面体短小症的年轻患者的面部不对称性进行定量分析,并将其与健康受试者的均匀样本进行比较。研究根据三叉神经分支的分布区域,将面部分为三份,手动选择三维图像上的软组织点,结果表明脸部的下半部更加不对称,该方法在检测患者和对照组之间的形态差异方面具有很高的重现性和准确性,因此,它适用于中医证候和非中医证候非对称病理的拓扑分析。

4 结束语

在上述研究中,FDNA 技术的Face2Gene 应用程序能够帮助不同疾病进行研究测试。文献[62]关于Tunar综合征的诊断,将所研究的方法结合到了一个真实的系统中,用于在欠发达地区筛查疑似TS 患者,为TS 患者提供早期发现和早期治疗。通过系统的大规模初步筛查和医院的进一步检查,为患者提供早期发现和早期诊断,并尽快采取适当的对症治疗方法。该系统会记录关键信息并采集面部图像,将所有信息输入系统后就会得出一个实时的诊断结果,可以给医生的诊断提供辅助信息;而其他疾病的人脸辅助诊断,都尚处于研究阶段,还未能开发出具体的应用投入实际生活中。

由于近几十年人脸形态学辅助诊断技术在疾病的临床诊断、分级、预测等方面的不断应用,使得该技术在人工智能、深度学习等技术的不断探索下,能够与医学科研技术以及医学护理等方面更加的贴合,可以在二维图像、三维立体图像以及视频中捕获人脸部特征信息,针对人脸部形态变化不明显的疾病,可以使用基于深度卷积神经网络根据视频中人脸的变化建立动态模型来观察,现有研究虽比较少,但证明还是有效果的,可以作为一个发展方向;运用三维面部分析方法来检测疾病,虽然在部分疾病中达到了较好的效果,但整体上还是因其成本较高,实施困难,使得临床应用的可行性低;而现针对二维面部图像的疾病辅助诊断,研究方法较为广泛,实验效果也高于临床医生的诊断,但是现今研究疾病的种类涉及面较窄,多数疾病样本的数据量少,疾病临床特征不明确,进行的实验数量整体不足,在大规模进行疾病的诊断中缺乏有效性。因此,未来的研究重点应该集中于扩大疾病的研究种类,将通过支持向量机、深度卷积神经网络或集成方法等构成的改进分类器等具有高性能的诊断框架投入不同疾病的研究,训练时的数据量越大,模型的准确度就越高,通过大量数据集训练,将高准确度的研究结合到真实的系统中,开发出契合实际生活的应用,并关注不同疾病的样本采集工作。引起人脸形态学发生变化的因素有很多种,在研究相关疾病如何快速获得诊断结果的同时,更应该高度重视,提前预防。

猜你喜欢
形态学人脸分类器
有特点的人脸
一起学画人脸
前交通动脉瘤形成和大脑前动脉分叉的几何形态学相关性研究
三国漫——人脸解锁
基于差异性测度的遥感自适应分类器选择
基于实例的强分类器快速集成方法
医学微观形态学在教学改革中的应用分析
血细胞形态学观察对常见血液病诊断的意义分析
基于层次化分类器的遥感图像飞机目标检测
长得象人脸的十种动物