基于深度学习的B 超图像肝癌病灶自动定位

黄良汇，许祥丛，谭海曙，韩定安，王雪花*

（1.佛山科学技术学院 物理与光电工程学院，广东 佛山 528225；2.佛山科学技术学院机电工程与自动化学院，广东佛山 528225；3.粤港澳智能微纳光电技术联合实验室，广东 佛山 528225）

原发性肝癌（简称肝癌）在全球恶性肿瘤发病率中排名第六位,其中每年新发病例和死亡病例大部分来自中国［1］。利用医学影像精准定位肝癌病灶区域有助于临床医生观察肿瘤与周围组织的特征变化，从而准确地诊断肝癌以及评估患者的治疗反应。B 超检查可显示肿瘤的位置、大小、形状、门静脉及肝静脉内有无癌栓等，具有可反复检查、无辐射和低费用等优势，是目前最普遍检测肝癌的方式，但由于超声图像存在噪声斑点多、对比度差、肝癌病灶区域边界模糊等问题，且肝癌在形状、外观和位置上表现出高度的异质性，使得肝癌病灶感兴趣区域（Region of interest，ROI）的检测变得困难。影像组学［2］利用计算机技术获得医学图像中的特征信息，并结合临床知识进行综合研究，对临床决策和预后具有重要的参考价值。目前，影像组学常用的方法是依赖经验丰富的影像科医生手动定位肝癌病灶ROI，人工定位的方式不仅容易受到主观因素的影响，而且耗费大量的高级人力［3］。近年来，模式识别［4］、机器学习［5］、深度学习［6］等技术不断发展，影像组学结合人工智能的研究方法已被应用于肝癌的诊断、治疗和疗效评估等临床问题中［7］。因此，利用人工智能的方式自动定位B 超影像中肝癌病灶ROI，为肝癌的分期分类以及预后治疗提供大量精准的感兴趣区域，对于肝癌诊疗和研究都具有重要的医学意义。

利用人工智能进行目标检测的方法可以分为机器学习和深度学习两种算法。机器学习的主要思想是通过人工提取图像特征，再利用机器学习分类器对图像特征进行识别分类，例如DPM［8］（deformable part model），HOG［9］（Histogram of Oriented Gradients）+SVM（Support Vector Machines）等方式，这种方法存在鲁棒性差、时间复杂度高等问题，难以在对比度差的B 超图像上准确检测出肝癌病灶。基于深度学习的目标检测算法，依靠强大的自学习能力，能够从标签图像数据中学习特征，通过反向传播机制不断优化模型参数，从而挖掘出图像中深层次的相关信息来实现目标检测任务。基于深度卷积神经网络在目标检测任务中的运用主要分为两类，一类是以RCNN（Regions with Convolutional Neural Network features）系列算法为代表的生成候选区域的两阶段检测器，如Faster RCNN［10］、Mask RCNN［11］以及TridentNet［12］等，另一类为不需要生成候选区域的单阶段检测器，如Yolo（You Only Look Once）系列算法、SSD［13］（Single Shot MultiBox Detector）以及CenterNet［14］等。一般前者能够获得更优异的准确率，后者具有更快的检测速率。

本文利用深度学习的方法自动定位B 超影像中肝癌病灶区域，分别构建了SSD、YoloV3、YoloV4、Faster RCNN 和CenterNet 等5 个目标检测网络，在自主建立的肝癌B 超图像数据集上训练和评估模型，采用检测速率、平均交并比（mean Intersection Over Union,mIOU）和准确率（Accuracy）等参数评估模型的性能。结果表明SSD 网络不仅能够自动定位肝癌目标，其Accuracy 达到94.8%，mIOU 为78.4%，且在训练和验证速率上都优于其他模型。

1 SSD 目标检测网络算法

SSD 网络［11］是基于单个神经网络的目标检测算法，其结构如图1 所示。主干网络使用VGG16 网络，VGG16 中最后两个全连接层修改为卷积层conv4_3 和fc7，并在网络末端添加了多个尺寸逐渐减小的辅助性卷积层conv6_2、conv7_2、conv8_2 和conv9_2。该主干网络使用加深网络层的VGG16 来提取输入图像的特征，全连接层替换成卷积层可减少训练参数，从而提升网络模型的训练速度。SSD 网络使用特征金字塔的方式输出6 个不同尺度的特征图，其对应的尺寸分别为38×38、19×19、10×10、5×5、3×3和1×1。大尺寸特征图能够保留更多的纹理特征可用于检测较小的目标，小尺寸特征图具有更多图像整体性信息用于检测较大的目标。SSD 网络使用6 个不同的检测器对特征图进行检测，为网络预测提供不同尺度的语义信息，从而提升网络的检测精度。此外，检测器在特征图上预设不同大小与长宽比的先验框，在训练中不断地匹配真实框，使得网络能够更快地拟合数据和减少训练时间，以达到最好的识别效果。最后使用非极大值抑制（Non-Maximun Suppression，NMS）算法［15］挑选出置信度最高的先验框作为预测框，并在训练中自动学习和调节预测框参数后输出预测结果。

图1 SSD 的网络结构

SSD 网络为了能够正确预测输入图像的类别和位置，设计的损失函数由分类损失函数和位置损失函数组成。为了提高模型的性能，损失函数对正负样本比例进行了微调，公式为

其中，N 为先验框正样本的数量，Lconf（x，c）为分类损失，Lloc（x，l，g）为定位损失，x 为预测框与真实框的匹配结果，c 为该类别的置信度预测值，l 为预测框的位置参数，g 为真实框的位置参数，α 为分类损失和位置损失的权重参数，本文设置为1。

位置损失函数采用L1 平滑函数，公式为

分类损失函数为softmax 函数，公式为

2 实验方法与结果分析

2.1 实验数据集

本文模型所需要的数据来自中山大学附属肿瘤医院，纳入了2004 年至2016 年期间在该医院接受基线超声检查的肝癌患者，机构审查委员会在该医院审查并批准了这项回顾性研究。制作数据集包含B 超图像共计4 830 张，以6：2：2 的比例划分为训练集、验证集和预测集。由经验丰富的放射科医生采用LabelImg 标注工具对B 超图像进行人工标注，标注原则如下：

（1）采用统一的标准绘制标签，以避免网络学习无效特征；

（2）肝癌病灶约占ROI 区域的四分之一，有利于网络学习更多肿瘤及周围组织的特征；

（3）肝癌位于感兴趣区域的中心，避免网络模型不能准确识别肿瘤位置、不易饱和和误检率高等问题。此外，为了提升SSD 网络的性能，对训练集数据使用图像随机增强，输入图像尺寸统一调整为300×300，并将图像归一化，最后对图像进行随机翻转、缩放、长宽扭曲和色域扭曲，以缓解过拟合问题，提高模型的鲁棒性。

2.2 实验设备以及模型参数

本次实验在64 位Win10 操作系统进行，计算机的运行内存为32 G，GPU 为NVIDIA GeForce RTX 3080Ti（12 GB 显存），处理器为Ryzen 9 5900X 12-Core Processor 4.20 GHz。采用Python3.7 和Pytorch1.9.0 框架，实现模型的搭建、训练和验证。SSD 网络中采用迁移学习的算法对ImageNet 数据集进行预训练来获得初始化权重，使得模型快速找到最优解，从而节省训练时间。训练分为两个阶段进行：1）第1 阶段为冻结训练，冻结VGG16 网络的前28 层参数，训练过程中使用Adam 优化器，初始学习率设置为0.001，采用StepLR 调整策略调整学习率，调整倍数gamma=0.94，调整间隔step size=1，batch size 设为64，激活函数选择ReLU 函数，训练50 个epoch；2）第2 阶段为解冻训练，解冻VGG 冻结的参数，初始学习率设置为0.000 1，其他参数不变，继续训练50 个epoch 完成网络训练。

2.3 评价指标

本文采取的评估网络性能的指标是检测速度、模型参数、mIOU 和Accuracy，其中，模型的检测速度包括训练时间和预测时间，mIOU 的计算方法是取置信度最高的预测结果（detection-result）与真实标签（ground-truth）面积的交并比，公式为

其中，A 与B 分别表示不同区域的面积，m 为参与检测图片的总数，mIOU 在一定程度上能够反映模型性能的稳定性和目标定位的精准性。Accuracy 是由IOU 确定评估肝癌定位准确率的指标，当IOU≥0.5表示网络预测正确，反之则表示网络预测错误，公式为

其中，N 为参与检测图片的总数，j 为检测图片的索引号，I 为网络检测结果，预测结果正确则I=1，预测结果错误则I=0。

2.4 实验对比

本文分别采用SSD、YoloV3、YoloV4、Faster RCNN 和CenterNet 等5 个模型测试数据，结果如表1所示。在训练和预测时间上，两阶段检测器Faster RCNN 需生成候选区域耗时最多，其次是CenterNet网络和具有特征金字塔结构的YoloV4、YoloV3 网络，而SSD 网络训练和预测用时都最少。因为SSD 网络修改了VGG16 的全连接层为卷积层，使输出尺寸更小的特征图作为有效层，减少了模型的参数，并加快了计算效率。此外，本次建立的肝癌B 超图像数据集中存在肝癌和周围组织的纹理特征近似的情形，其他4 种检测网络易把肝癌目标错认为背景，导致检测率下降和定位不精准等问题。SSD 网络不仅训练和预测耗时更少，而且目标定位的准确率和精确度更高，其mIOU 和Accuracy 值分别达到了78.4%和94.8%。

表1 不同模型训练时间、预测时间、模型参数、准确率和mIOU 统计

本次实验共采用5 个目标检测网络对966 张肝癌B 超图像进行预测，其IOU 结果分布如图2 所示。直方图统计数据显示，5 个网络的预测IOU 值主要分布在60%至100%之间，其中SSD 网络的IOU主要分布在80%～90%和90%～100%两个区间，数据量高于其他4 种模型，且50%以下的数据分布相比其他模型波动较为平缓，表明SSD 网络定位肝癌病灶的准确性最高，稳定性最好。

图2 5 个网络IOU 分布直方图对比

图3 为5 个网络的肝癌病灶定位结果与金标准对比图，其中第1 行为输入网络的肝癌B 超原图，第2 行为可视化的5 个网络预测结果和金标准框。图3（a）～（c）为肿瘤区域较清晰的B 超图像定位结果，其中Faster RCNN 对大尺寸肿瘤目标输出定位预测框过大，小尺寸肿瘤目标定位错误，YoloV3、YoloV4 和CenterNet 定位不够精准，而SSD 网络能够精准地定位出大、小尺寸的肿瘤目标，且对B 超图像文字具有很好的抗干扰能力。图3（d）～（f）为人眼难以识别出肿瘤目标的B 超图像，Faster RCNN、YoloV3、YoloV4 和CenterNet 出现定位错误或不够精准等问题，而SSD 网络具备学习更深层的肝癌与周围组织不同的纹理特征信息的能力，能够准确地识别出肝癌目标。因此，SSD 网络在人眼难以识别出肿瘤目标且存在仪器文字信息遮挡病灶的B 超图像上，仍有很好的检测效果。

图3 5 个网络预测结果与金标准对比图

3 结语

目标检测网络已被广泛应用于不同医学影像的肿瘤检测之中，例如，孙跃军等［16］使用改进的Mask RCNN 网络对乳腺X 线图像进行肿瘤自动定位，并使用图像融合算法提高了模型的准确度和识别度，肿瘤检测平均精确率达到92.7%。陈强锐等［17］使用Faster RCNN 对肺部肿瘤CT 图像进行定位，在NLST（National Lung Screening Trial）以及Kaggle 数据集上测试了90 张CT 图，准确率达到95.1%。Anwar S 等［18］使用DDSM（Digital Database for Screening Mammography）数据集上的2 620 例乳腺X 线图像建立SSD 网络模型，肿瘤检测准确率达到96.2%。

本文建立了SSD 模型自动定位B 超图像中的肝癌病灶区域，与YoloV3、YoloV4、Faster RCNN 和CenterNet 模型进行了对比实验，结果表明SSD 网络不仅能够实现自动定位肝癌目标，其准确率达到94.8%，平均交并比为78.4%，且训练和验证速率都优于其他4 个模型。本文研究可为影像组学评估疾病提供大量精准的感兴趣区域，对于肝癌的分期分类以及预后治疗等具有重要的医学应用价值。