Faster-RCNN的癌症影像检测方法

王　黎,陆慧娟,叶敏超,严　珂

(中国计量学院 信息工程学院,浙江 杭州 310018)

根据2015年的中国癌症报告[1],中国癌症已成为主要的公共健康问题和首要死亡原因.如果癌症患者在出现早期病变时得到及时的诊断和治疗,将会大大提高生存率,因此,癌症的早期筛查和准确诊断极其重要.医学影像作为一种广泛的癌症诊断方式,能够为病情诊断提供大量有用的信息.然而,对于日益增加的图像数据也为人工阅片带来极大的挑战,不同医生主观意识上的偏差,往往会造成效率低下甚至是误判的情况出现.因此,对于医学影像的信息提取和处理分析,成为近年来的一个重要研究领域.

本文将Faster-RCNN(Regions with CNN features)的网络结构应用于癌症影像的检测,第一阶段针对于医学影像的特点,通过垂直翻转扩增数据集样本数量,并添加了一层拉普拉斯卷积层对图像进行卷积锐化,增强图像的边缘对比度,突出具有癌变风险的结节轮廓,第二阶段针对于结节的目标特点,在Faster-RCNN训练时,对模型中的锚框(anchor)大小做了修改,并且修改了超参数进行训练,使癌症的早期检测更加高效和准确.

1　相关工作

随着机器学习在生物信息学的广泛应用,将机器学习方法用于医学影像的癌症诊断中是科研人员一直致力研究的方向,Mungle T[2]等人使用马尔科夫随机场模型对图像进行分割后,通过人工神经网络对分割后的图像进行评分分级.Nguyen T H[3]将定量相位成像扫描仪得到的医学影像训练出随机森林分类模型,用于辅助医生诊断乳腺癌,提高了医生的诊断效率.Garapati S S[4]使用多种机器学习算法用于膀胱癌的CT数据,分析了形态特征和纹理特征的模型准确性,将多个模型组合,得到用于膀胱癌CT的预测模型.

深度学习是以人工神经网络为理论基础的机器学习分支方向,自Hinton G[5]在2006年提出了逐层贪婪算法以来,深度学习掀起了人工智能革命的热潮,其中Bengio Y,Lecun Y[6]于1995年提出的卷积神经网络(Convolution neural network,CNN)对处理图像数据取得了显著的效果,被广泛应用于计算机视觉方向.基于卷积神经网络的结构基础,发展出很多应用于图像分类、目标检测、图像分割的网络结构.2014年Girshick R[7]将深度学习应用于目标检测中,提出了R-CNN模型结构,将Region proposals与CNN结合,使用SVM对卷积特征进行分类后,对每类目标使用线性脊回归器进行回归框的精修.该模型使PASCAL VOC数据集的检测率从35.1%提升到53.7%,是深度学习应用于目标检测的开山之作.2015年Girshick R[8]将空间金字塔池化[9](Spatial Pyramid Pooling SPP)方法加入到R-CNN中,提出Fast-RCNN模型,大幅度提高了训练时间；同年,Girshick R和He K[10]提出了Faster-RCNN,增加了Region Proposal Networks(RPN)网络,使用网络生成候选区域,实现端到端训练.

2　Faster-RCNN的癌症检测

2.1　数据增强

深度卷积神经网络的参数非常庞大,需要大量的标注数据才能够满足训练要求,但是对于医学影像这类数据来说,有标注的数据是非常有限的,如何充分利用有限的数据训练模型,就需要进行数据增强.常用的数据增强方法有裁剪、翻转、颜色亮度变化等方法[11].本文使用垂直翻转的方法,对现有的数据集进行样本扩增.

2.2　拉普拉斯卷积层

图像锐化的目的在于提高边缘像素的灰度值差异性.在图像锐化中使用差分运算,可以反映每个图像像素的灰度值.差分运算能够确定边缘像素并增强其像素值.本文将卷积锐化作为一层网络结构,加入到检测模型中,使用拉普拉斯算子作为卷积核.

拉普拉斯算子是一种常见的二阶导数算子,可以增强图像中灰度值的不连续性,减少灰度区域的逐渐变化.因此,在连续二维的情况下,原始图像f(x,y)的梯度如式(1)[12]

(1)

式(1)中,原始图像梯度是一个向量,它的方向是函数f(x,y)的最大变化率的方向.

函数f(x,y)的最大变化率

(2)

由式(1)、(2)可以得到

(3)

(4)

根据式(3)、(4)和拉普拉斯算子结合得到

▽2f(x,y)=f(x+1,y)+f(x-1,y)+

f(x,y+1)+f(x,y-1)-

4f(x,y).

(5)

式(5)为四邻接拉普拉斯算子,其值与相邻四个像素的灰度差异有关,可以通过模板卷积操作实现拉普拉斯算子的计算,实现模板如图1.

0-10-14-10-10

图1拉普拉斯算子

Figure 1Laplace operator

将四邻接拉普拉斯算子作为卷积核构建一层拉普拉斯卷积层处理输入原始图像,在保留图像原始信息的情况下,增强灰度突变边缘的对比度,应用于医学影像中,可以突出结节的轮廓,使模糊的图像变得清晰,更容易检测.

2.3　Faster-RCNN检测模型

Faster-RCNN在Fast-RCNN的基础上增加了一个区域建议网络(Region Proposal Networks,RPN),能够通过网络生成候选区域,相比于传统的区域搜索算法Selective Search、EdgeBoxes等方法,有明显的速度提升[10].

如图2所示,在传统的Faster-RCNN模型添加一层拉普拉斯卷积层,其中拉普拉斯卷积层参数固定,不参与反向传播训练,因为当拉普拉斯卷积层参数改变时,会对输入图像造成不确定的锐化效果,造成检测效果的波动.

图2　结节检测模型结构Figure 2　Structure of nodule detection model

RPN网络与Fast-RCNN共享卷积层得到了输入特征图,通过滑动窗口对输入的特征图滑动卷积,每个滑动窗口将特征图映射到一个较低维向量(ZF网络为256-d,VGG16网络为512-d),该向量输入到区域分类层和区域回归层得到输出结果后进入ROI池化层.

训练RPN时,首先需要生成锚框,Faster-RCNN以每个像素为中心点生成三种不同比例面积为1282、2562和5122像素的锚框,对于产生的锚框(anchor),使用IoU(Intersection over-Union)来选择正负样本集进行网络训练,选择规则为表1.

在训练中,使用梯度下降算法进行反向传播训练,其损失函数定义为[8]：

(6)

(7)

在得到预测框的坐标参数后,需要对坐标参数回归调整,使预测框更接近目标框的真实坐标

(8)

其中:x,y,w和h表示预测框的中心坐标、宽度和高度,xa,ya,wa和ha表示生成锚框的中心坐标、宽度和高度,x*,y*,w*和h*表示目标框的中心坐标、宽度和高度.

3　实验结果与分析

本文实验数据集采用LIDC-IDRI(The Lung Image Database Consortium)[13],该数据集由肺癌医学影像和对应的诊断结果病变标注XML文件组成,是由美国国家癌症研究所(National Cancer Institute)发起收集的,目的是为了研究高危人群早期癌症检测.

由LIDC-IDRI数据集预处理得到带有肺癌结节的CT影像数据集共有5850张图片,3150张用做训练集,2700张用做测试集,测试集与训练集相互独立，见表2.

表2　数据集样本数量

其中,训练集A是原始数据集,训练集B是做了数据扩增的数据集,采用垂直翻转的方法对原始数据集进行扩增,使训练图片达到了6300张.

本文采用Windows10环境下的Caffe框架进行模型训练,在Nvidia GTX 1070 GPU下加速训练,使用VGG16模型在ImageNet下的预训练模型参数作为初始化训练参数.

图3为数据集随机抽取的图像样本,图4为拉普拉斯卷积层的输出特征图,可以看到图4(a)、(b)、(d)都有明显的边缘增强效果,而(c)图因为原始样本灰度对比度较清晰,锐化效果稍差,该层的输出特征图作为Faster-RCNN的输入数据.

图3　原始图片Figure 3　Original picture

图4　拉普拉斯卷积层输出特征图Figure 4　Feature map of the Laplace convolution layer

因为医学影像中的癌变区域通常仅有十几个像素甚至几个像素的大小,所以本文调整了Faster-RCNN模型中的初始锚框大小,将原始的1282、2562和5122像素大小的锚框调整为162、322和642像素大小,对比效果如图5.

图5　训练loss值对比Figure 5　Comparison of training loss values

图5(a)是原始锚框训练时的loss值收敛图,(b)是修改锚框后的loss值收敛图,取前40 k次迭代loss值下降情况来看,修改锚框后,收敛速度明显加快,这样可以提高训练速度,也有利于模型学习数据中的细节信息.模型训练结果如表3所示.

表3　实验结果

在医学影像数据中,仅有癌变区域和背景区域,所以使用平均正确率(Average Precision, AP)[14]作为评价指标,由表3可以看出,经过数据扩增的训练集B在添加了拉普拉斯卷积层的Faster-RCNN模型上得到AP=52.6%的测试精度,能够达到辅助诊断的效果,同时,相较原始训练集A在Faster-RCNN上得到的测试精度,总体可以提高约11.1%的AP值.部分测试图像效果如图6.

图6　结节检测实例Figure 6　Nodule detection example

将检测阈值p设置为0.8,可以看到训练得到的模型可以检测出图6前四张图的癌变区域,且检测概率较高,实现了辅助诊断的效果.对于图6(e)的癌变区域漏检,因为图中的癌变区域过小,模型得到的概率过低,无法检测,这也是Faster-RCNN应用于癌症检测中存在的问题.

4　结　论

深度学习应用于计算机辅助诊断是一个新兴的研究领域,本文将Faster-RCNN应用于医学癌症影像的检测,在LIDC-IDRI数据集上实现癌症检测的目的,并通过添加拉普拉斯卷积层等方式提升了检测效果.但是对于小目标结节的检测效果不理想,存在漏检和检测率低的情况,这将是下一步的研究方向.