基于MATLAB牙齿比色算法实现

2021-08-27 05:18杨世波应梦迪夏秋婷李
传感技术学报 2021年5期
关键词:比色光照分量

杨世波应梦迪夏秋婷李 宏

(杭州电子科技大学自动化(人工智能)学院,浙江 杭州 310018)

在临床上,牙体缺损、牙列缺失和牙列缺损是人类常见病、多发病[1],目前修复中应用最多的方法是烤瓷修复体[2],颜色是影响牙齿及修复体美观的一个重要因素,而修复体颜色与天然牙颜色的完美匹配又是口腔修复学的难点之一[3]。现阶段常用的比色方法[4]有视觉比色、仪器比色及数码摄影辅助比色。视觉比色时容易受到光照条件、不同比色技师对于色彩的感觉力、视觉疲劳、比色经验以及修复材料的影响[5],使得比色结果存在偏差;仪器比色可以避免视觉比色时的偏差,但每次只能为一颗牙齿比色,比色效率和准确率较低,而且价格昂贵[6],Sarafianou等[7]在不同光源下对Easyshade和SpectroShade两款比色仪进行测试,认为仪器之间可靠性差,这表明它们是不兼容的;数码摄影辅助比色是通过数码相机取得牙齿及比色片数字图像和颜色,仍需要人眼对满意的图像和颜色进行选择,但Melody[8]认为:通过数字图像获得的颜色信息,可以很容易地转换成与口腔环境相关的信息;Tam等[9]认为:用数码照片比色,可以尽可能减少医生和技师之间颜色沟通的差距。

近年来,将数码摄影和相关比色算法相结合成为牙科比色技术的一大突破口,例如王远勤[10]通过求取每一区域的颜色(RGB)、亮度“平均值”作为该区域的颜色和亮度特征,结合人工神经网络技术以实现前牙修复体颜色的计算机自动选择,结论显示:临床58例前牙缺失患者的满意度评价高于视觉比色,但未明确计算准确率;刘纪红[11]采用了中心区域比色法、9个子区域减色比色法和改进算法三种方法比较分析,其中改进算法具有最高的准确率,改进算法中通过将HSI(hue-saturation-intensity)组成特征组后进行分类,平均准确率可达到94.79%,人为地以45度自然光(10:00-14:00)照射的环境和置于均匀的蓝色背景下进行图像采集,以达到图像中几乎没有阴影的效果;宋宇[12]通过暗箱和摄像笔采集牙齿图像,取灰度矩阵利用KNN(K-NearestNeighbor)和SVM(Support Vector Machine)两种分类器进行分类,其中KNN分类准确率较高,可达到86%,但图像样本基于暗箱采集,置于现实应用难以开展。

以上分析现有实现的算法,大多图像采集是基于暗箱和特定角度拍摄所得,背景采用均匀的蓝色或黑色,但在实际临床应用中,为获取到清晰的牙齿图像,角度平面不会固定,也不能忽略实际拍摄时光照不均匀、采集图像存在阴影等问题。所以本文考虑实际拍摄时底色一般为牙龈或嘴唇等背景,将采用均匀的红色背景,置于自然光下随机平面拍摄获取样本,采用光照不均匀图像自适应校正算法减少光照对采集图像的影响,并将图像置于多种色彩模式下,以各分量作为特征向量,通过方差选择特征法选取特征组进行KNN分类,为实现牙齿比色系统提供理论支撑。

1 材料与方法

1.1 材料

本实验选用目前广泛应用于临床的德国VITA Toothguide 3D-MASTER牙齿比色板为研究对象,如图1所示,其包含26颗根据灰度级别(0-5级)、色度(L、M、R)和饱和度排列的不同颜色的牙齿模型和三颗漂白牙齿模型。

图1 VITA Toothguide 3D-MASTER牙齿比色板

本文设计的牙齿比色算法是基于MATLAB平台[13]进行的仿真测试。

1.2 方法

牙齿比色算法总流程如图2所示。

图2 牙齿比色算法总流程

1.2.1 比色片数据库的建立

以VITA Toothguide 3D-MASTER牙齿比色板为研究对象,底色选用红色,更贴近现实应用场景中的牙龈和嘴唇的背景色。取每一个比色卡放置在自然光照下,数码相机随机拍摄样本5张,共获得130幅牙齿图像,随机挑选4张作为样本集,剩余1张作为测试集。

将拍摄的牙齿图像分为样本集和测试集存为两个主文件夹,再按类别分别存于26个子文件夹。在MATLAB中实现依次读取主文件夹下所有子文件夹内的照片,并且以各子文件夹名为标签,存储对应样本类别。

1.2.2 牙齿图像的处理

首先将RGB牙齿图像转换为HSV图像,因为该色彩空间是基于人的视觉系统的颜色感觉特性[14],其中色度图像的目标和背景像素值对比明显[6],所以取色度图像进行下一步的定位分割处理。色度图像通过整体阈值法二值化后,由于拍摄过程中牙齿比色片产生反光,产生边缘上不圆滑、存在缺角缺块的现象,为避免分割过程中产生误差,所以先对色度图像进行形态学处理,分别进行了闭操作和腐蚀操作,起到填充图像中的细小空洞和平滑边界的作用。

然后进行图像的分割,通过投影法对预处理后的色度图像进行分割,由于从各个角度拍摄的图像样本,造成目标图像大小不一致,考虑到自然牙中间1/3区域颜色最稳定,可把这一区域颜色作为主体基调色[15],所以固定分割270∗399的中心区域进行比对。具体思路如下:遍历牙齿图像各行各列的像素值,并分别统计记录在矩阵marRow和marCol中。再对行投影的值(即矩阵marRow)进行升序排序,统计排序为前270的像素值,对其索引序号排列,得到其最前最后对应的索引序号xstartIndex和xendIndex;后对列投影的值(即矩阵marCol)进行相同操作,得到排序为前399对应的索引序号ystartIndex和yendIndex。最后根据所得的四个xy索引序号,使用imcrop()函数对HSV图像进行分割,得到大小为270∗399的牙齿中心图像。

由于拍摄的多角度和光照影响,可能导致分类误差,所以选择对分割后的亮度图像进行减少光照影响的处理。对分割后得到的270∗399中心图像取亮度分量图像,参考刘志成[16]的光照不均匀图像自适应校正算法,利用高斯函数提取出图像场景中的光照分量,通过构造二维伽马函数来均匀图像中的亮度值,即实现降低光照过强区域图像的亮度值和提高光照过暗区域图像的亮度值,后将处理好的亮度分量与原来的HS分量重新合成HSV图像。

1.2.3 构成特征向量

将处理好的HSV中心图像分别转换为RGB和Lab图像,并提取出R、G、B、H、S、V、L、a、b九大分量,求平均后将得到的九个特征值存储为行向量,作为该图像的特征向量。根据以上处理方法,将样本集和测试集的图片分别依次处理后,存储在样本矩阵和测试矩阵中。

1.2.4 特征选择及分类

每幅图像均有九大特征值,不同特征进行组合可形成511个不同的特征组,所以需要进行特征选择[17]来挑选出最优分类特征组。根据Dash等人[18]给出的定义最优特征组是选择尽量小的特征子集,并满足不显著降低分类精度和不显著改变类分布两个条件。具体采取方差选择法[19],即该特征能很好地区分某些类和另外的一些类,则认为该特征是可选择的,从统计学的角度看就是它们的类间方差较大,该方法的通用性强,省去了分类器的训练步骤,算法复杂性低,简单易行。

由于K-近邻法(K Nearest Neighborhood,KNN)算法实现简单和其显著的分类性能[20-21],所以采用K-近邻法设计分类器,其中k取3,并采用最常见的欧氏距离进行度量,衡量的是多维空间中各个点之间的绝对距离,公式如下式(1)所示,最后计算分类准确率。

2 结果

根据以上所述的方法步骤,建立牙齿图像样本集,采集的牙齿样本处于RGB色彩模式,提取各分量及直方图如图3所示,并分别转换至HSV色彩模式和Lab色彩模式下,所提取的各分量及直方图如图4、图5所示,本文将基于这三个色彩模式对图像进行处理。

图3 RGB各分量及其直方图

图4 HSV各分量及其直方图

图5 Lab各分量及其直方图

对牙齿图像的色度图像进行形态学预处理,包括闭操作和腐蚀操作,效果图如图6所示,可以发现图像四周变光滑,但比色片右上角的缺失未能完全补齐,结合之后进行的分割操作,该角缺失并不会对牙齿图像比色造成明显影响。

图6 色度图像形态学预处理结果

随后对预处理后的色度图像通过投影法进行分割,为使分割效果明显,取RGB完整图像举例,得到的原图和分割图对比如图7所示,可由此方法得到270∗399大小的牙齿中心区域。

图7 投影法分割前后对比图

对分割后所得原图像直接尝试不同特征组的比色分类,取出一部分相对准确率最高的特征组结果以及其分类平均准确率如表1所示,可以发现各个特征组准确率均不高。

表1 未进行减少光照影响算法时的准确率

所以进一步根据图像均匀光照算法,对分割后的图像减少光照影响,效果如图8所示,可以发现提取出的光照分量分布不均匀,在经过均匀算法处理后,光照分量分布均匀,并拼合成HSV分量。

图8 减少光照影响的效果图

取之前未进行光照处理时相同的特征组,其对应的分类准确率和平均准确率如表2所示,可以发现经过光照均匀后整体准确率明显提高,最高准确率能达到96.2%。

表2 进行减少光照影响算法后的准确率

取RGB、HSV、Lab三个色彩模式下的各分量作为特征值,一共可以形成511组不同的特征组,首先根据不同个数特征值所形成的最高准确率来确定最优特征组个数,如图9所示,当特征值个数增加到一定程度时,准确率不增反减,可能由于某些特征值组合后反而干扰了比色分类,可以发现,当特征值个数为3时,可以达到最高的准确率,所以之后就基于三个特征成组寻找最优特征组。

图9 不同特征值个数对应最高准确率结果

对于特征选择时,使用方差选择法,对各个特征计算类间方差,结果如表3所示,可以发现BHV三个特征在类间方差最大,即能够更好地区分每一类。

表3 各特征值的类间方差

基于BHV组成的特征组,经由样本集的分类器训练后,对测试集进行比色分类,可达到96.2%的准确率,说明由该特征组实现牙齿比色分类的效果较佳。

3 结论

本文以VITA Toothguide 3D-MASTER牙齿比色板为研究对象,将其置于均匀的红色背景,在自然光下随机平面拍摄各个比色片,共获取130张样本图像。以MATLAB为平台,采用光照自适应校正算法,有效减少了光照不均匀对图像的影响,提高了分类的准确率;选取RGB、HSV、Lab三种色彩空间下的各分量为比色的特征向量,并且采取方差选择特征法,得到分类最优特征组为BHV特征组;通过KNN分类后验证该特征组达到最高的分类准确率为96.2%,可为之后实现牙齿比色系统提供理论依据。

猜你喜欢
比色光照分量
节能环保 光照万家(公益宣传)
基于酞菁的共价-有机聚合物的制备及在比色传感领域的研究
帽子的分量
节能环保光照万家(公益宣传)
一物千斤
春光照瑶乡
论《哈姆雷特》中良心的分量
基于瞬时对称分量法的三相四线制D-STATCOM控制研究
海口地区牙齿修复比色技术应用的现状调查
服装CAD系统中的光照面向对象分析