肺结节智能检测和三维可视化系统设计与实现

马思然，杨媛媛，倪扬帆，顾轶平

(1.中国科学院上海技术物理研究所 医学影像信息学实验室，上海 200083；2.中国科学院大学，北京 100049)

0 引言

在全球绝大多数国家，肺癌的发病率和死亡率均居首位，目前肺结节的诊断方式主要是由专业的放射科医师进行 CT 影像筛查，这种方式不仅具有很强的主观性，而且会产生视觉疲劳，严重影响肺部疾病诊断的准确率[1]。

在医学影像研究及应用领域，人工智能(Artificial Intelligence， AI)占据着越来越重要的位置，其在肺结节方面的进展最为迅速。神经网络提高了CT图像检测与分类的各项指标，比如特异性、敏感性及精确度，可以准确快速地分析影像以确诊疾病，并且不受主观因素影响。基于深度学习的计算机辅助诊断技术在肺部疾病检测和诊断方面发挥越来越重要的作用[2]。

三维重建是医学影像可视化的主要技术，该技术通过二维切片序列重建出组织、器官的完整三维模型，能为临床诊断、外科手术、放射治疗等医学应用提供重要支撑[3]。

肺结节智能检测和三维可视化系统，即IDVS-N(Intelligent Detection and Visualization System of Nodule)将PACS(Picture Archiving and Communication System)影像系统、DICOM(Digital Imaging and Communications in Medicine)图像调阅平台[4]、人工智能肺结节检测技术以及三维可视化处理平台[5]有效整合，提供肺结节自动检测功能以及完整、准确的三维结节图像，多角度、多层次的展示组织区域内部的细节信息，从而提高诊断效率和质量，为临床决策提供帮助。

1 系统架构、功能及原理

1.1 系统架构

IDVS-N系统以国际相关技术标准(DICOM、IHE XDS-I等)和实验室相关的医学影像云平台[4]设计为理论指导，以已掌握的关键技术[6-7]为基础设计和实现。系统采用B/S三层体系结构：表示层、业务逻辑层、和数据访问层。表示层包含两个前端界面，分别是图像调阅界面和三维可视化界面；业务逻辑层提供包括肺结节智能检测、图像显示处理以及三维可视化服务；数据访问层提供DICOM通信和图像管理服务。数据库采用PostgreSQL9.4进行系统中数据的存储与管理。系统架构图如图1所示，各模块之间使用消息中间件进行任务分配和订阅。

图1 系统架构图

1.2 系统功能及原理

肺结节智能检测和三维可视化系统基于Java和Python语言开发，针对肺部疾病诊断的特点，构建了深度学习网络检测肺结节，采用光线投射算法对检测结果进行三维重建，在网页中可视化地显示肺部结节模型，终端用户使用任意浏览器即可进行访问。其各模块功能如下：

1)DICOM通信和图像管理。实现DICOM标准的通信，如C-ECHO， C-STORE SCP/SCU， C-FIND SCP， C-MOVE SCP/SCU等；负责DICOM图像文件的管理，包括接收、存储、发送等；同时负责肺结节检测结果管理。

2)智能检测。使用多通道的三维卷积神经网络对CT图像进行肺结节检测，检测结果包括结节位置、直径以及结节周围图像矩阵。

3)图像显示处理。采用已有的医学影像云平台自适应图像传输技术[4]，为前端页面提供图像显示配置、图像索引服务、图像文件提取服务、图像操作服务、图像头文件解析服务等等。

4)三维可视化。使用VTK可视化工具包[8]完成图像矩阵导入和基于光线投射算法的结节区域体绘制功能。

用户登录肺结节智能检测和三维可视化系统后，点击查询病人图像，服务端的DICOM通信和图像管理模块读取DICOM系列图像，解析和本地存储后调用智能检测处理模型，输出肺结节坐标及结节图像矩阵，通过图像显示处理服务在前端显示图像并标注肺结节位置。点击菜单栏3D按钮将跳转至三维重建页面，启动三维可视化服务。

2 系统设计

2.1 肺结节智能检测模型构建

在众多肺结节人工智能检测的研究中，常常采用卷积神经网络(Convolutional Neural Networks, CNN)对医学图像进行识别，这是一种具有深度结构的前馈神经网络，可以应用于大型图像处理[9]。

而应用CNN识别单张的病灶图片，不能全面地考虑到多张连续图片中病灶的联系[10]，也不符合临床医生的诊断要求。为有效地整合病灶横跨多个连续图片的相关信息，本文构建了一种多通道的三维卷积神经网络来提取图像特征。

多通道的三维神经网络不仅能检测三维的医学影像数据，而且多尺度的提取图像特征比起单一网络可以增加检测的准确度。

2.1.1 数据集

我们使用公共数据集LUNA16[11]作为我们的研究数据集，包括888例患者的低剂量计算机断层扫描。从中随机抽取的88例患者的CT数据作为测试集，除测试集以外的数据作为训练集和验证集。共标记出1 187个结节样本。用于训练和验证的数据集中有970个结节样本。我们通过数据扩充的方法将数据扩充了10倍左右，在收集的全部数据中，随机选取10%的数据作为验证集。

2.1.2 数据预处理

预处理主要包括:分辨率标准化和图像压缩，三维CT影像由于扫描机器的差别以及扫描厚度的差异，分辨率不一而足，因此我们考虑采用三维插值的方法对三维CT数据在不同方向[12]的分辨率进行标准化。另一方面，由于原始CT图像数据量大，平均每例切片厚度为1.25毫米的三维CT数据能达到132 MB，在训练过程中，极易造成内存泄漏。因此，需要对CT图像进行压缩，经过压缩后的图像为8位灰度图像。

2.1.3 网络结构

本文设计的多通道三维卷积神经网络结构如图2所示，模型共分为两层，第一层为卷积层，第二层为级联层。卷积层负责在原始的输入上进行特征提取，该层由3个网络通道组成。在卷积运算中，第一次卷积可能只能提取一些低级的特征如边缘、线条和角等层级，而更深度的网络能从低级特征中迭代提取更复杂的特征，因此，为了获得更好的训练效果，我们考虑加深网络的深度。但在卷积神经网络中，在不断加深网络的深度时，准确率会先上升然后达到饱和，再持续增加深度则会导致准确率下降。考虑到这一限制，我们选择在每一个网络通道中设置3个RetNet网络分别对数据进行训练并输出，ResNet的残差模块学习方法能有效地解决深层次网络训练中的退化问题[13]。最后，级联层负责将3个不同网络通道的输出进行级联，从而得到最终的特征。

图2 多通道网络模型结构

2.1.4 模型训练

将压缩及标准化后的三维数据块输入多通道网络模型进行训练，在最后通过合并3个不同的网络通道的输出合并得到最终的特征，输出结果定量化的表示为疑似结节的位置及直径。我们选用Focal loss作为分类损失函数[14]，Focal loss计算公式如下：

(1)

公式中的y是分类标签，yt为网络输出。通过参数α和γ来控制权重的调整。本研究中的权重参数α=0.5，γ=2。

2.2 肺结节三维重建可视化

在以往的研究中，无论是肺结节手动标注系统还是自动检测系统，大都选择在二维图片上标注结果，而检测结果的三维重建模型则需要在其他的软件中查看，比如ITK-SNAP，不仅操作步骤繁琐，而且时间花销也很大。为了进一步挖掘医疗数据，使得用户能够更加直观的观察肺部病灶，为用户提供更多的疾病信息，辅助医生进行临床诊断。本系统设计提供了肺结节三维重建功能，直接在浏览器中提供检测出的肺结节三维模型。

体绘制能够保存三维空间的细节信息，模型成像质量高，因此我们选用体绘制来重建结节模型。光线投射算法(Ray Casting)是常用的体绘制算法。该算法的原理是以屏幕的第一个像素为原点，发出一条射线，按照射线方向进行采样，然后根据由前向后或者由后向前的顺序，对射线上的每个采样点计算物质发光强度I，不透明度O以及颜色α，最后绘制像素[15]。采样点的计算顺序，可以分为由前向后，公式如下：

Iout=Iin+(1-αin)αiCi

(2)

αout=αin+αi(1-αin)

(3)

和由后向前，公式如下：

Iout=Ciαi+Iin(1-αi)

(4)

我们选用可视化工具包(Visualization Toolkit，VTK)来进行开发，它是一个开源的、跨平台的免费软件，可用于三维计算机图形、建模、图像处理、体绘制、科学可视化和二维绘图。它支持多种可视化算法和高级建模技术，并分别利用线程和分布式内存并行处理的速度和可扩展性。

VTK体绘制渲染流程如图3所示，我们首先导入结节图像矩阵，解析后将图像数据传入光线投射映射器，在映射器中通过光线投射算法进行三维重建，然后将经过重建的三维数据载入体绘制对象，最后将体绘制对象存入渲染器并在渲染窗口显示。

图3 体绘制渲染流程

在光线投射映射器中，为了得到最好的绘制效果，我们需要在属性中设置以下传递函数：(1)不透明度传递函数。该函数用于设置各体素绘制时的不透明程度，范围在0到1之间，0表示完全透明，1表示完全不透明；(2)颜色传递函数。该函数用于设置体素的绘制颜色，可按照RGB颜色标准设定。

由于医学影像的灰度级与人体组织部位一一对应，通过对各级人体组织对应的灰度范围设定相应的不透明度值，就可以在绘制时，使得该组织呈现透明或不透明的效果。根据这一理论，我们经过多次实验，得出结节模型绘制效果最优的传递函数参数设置，如图4所示。

图4 传递函数参数设置

3 系统测试及分析

3.1 测试环境

本文模仿医院应用场景，在局域网环境下搭建肺结节智能检测和三维可视化系统。服务器部署环境选择Ubuntu Linux 64bit操作系统，配备GeForce GTX 970 GPU显卡。前端选择Windows 10 64-bit操作系统，使用Chrome浏览器进行测试。

3.2 智能检测模型性能测试及分析

为了验证多通道网络相比于单一尺度检测网络以及其他多尺度检测方法的优越性，本文使用了单通道残差网络、特征金字塔(FPN)网络[16]与多通道网络进行对比试验。3种网络在同一测试集及相同网络参数的设置下肺结节检测准确率如表1所示。

表1 各网络组成情况及在测试集上的准确率

从表中的数据可以看出相比FPN和单通道网络，多通道网络对于肺结节检出准确率性能最好，达到了84.8%，也能满足日常检测需要，因此系统采用多通道网络作为检测网络。

为了研究该网络的预测性能，我们设置了几个参数对其进行评估，即检查每个三维CT的灵敏度、耗时和每次扫描的假阳性率。在实验中，我们分别使用分辨率为1、1.5、2 (mm/pixel)的三维CT数据进行检测，测量结果如表2所示。

表2 不同分辨率下多通道网络检测结果

在统计检测结果过程中，将每个预测值与标号进行比较。如果预测值在实际结节范围内，我们将其标记为真阳性样本，否则为假阳性样本。当预测结果没有一个在实际结节范围内时，就会出现一个假阴性样本。

从表2可以看出，当分辨率降低时，预测的灵敏度明显降低。然而，假阳性率和平均耗时也同时减少。当我们使用高分辨率图像进行扫描时，需要200多秒。然而，在低分辨率情况下，进行预测只需要大约20秒。如果我们考虑增加灵敏度，会增加假阳性率和平均时间消耗，两者是相互制约的。在未来的研究中，我们将在保证灵敏度的前提下进一步降低预测的假阳性率。

3.3 系统响应时间测试及分析

IDVS-N系统在实验室搭建的环境下，采用测试集图像进行测试。测试结果如表3所示。

表3 系统各模块响应时间

由表3可以看出，用户能在230s内通过浏览器调阅标注了检测结果的图像和肺结节三维重建模型，满足应用需求。通过比较系统对不同分辨率图像的响应可以发现，分辨率高的图像数据量大，系统检测时间远远高于分辨率低的图像，但图像调阅与重建时间没有太大差距。而在实际的应用场景中，对高分辨率图像的检测更为常见与重要，因此，如何提高高分辨率图像的检测效率是我们以后的研究中需要考虑的问题。

3.4 显示效果

如图5所示，进入测试图像的调阅界面，浏览器默认显示2*2窗口，每个视图窗口显示一个系列的图像，通过滚动条查看系列图像，同时肺结节检测结果以绿色矩形框进行标注。视图窗口4个角落分别显示检查时间、病人姓名、窗位、窗宽等头文件信息。选定一个结节标注框，点击界面上方工具栏的3D按钮，进入该序列DICOM图像三维重建界面。如图6所示，进入选定结节的三维重建页面，窗口显示结节区域的体绘制模型，用户可以通过旋转、缩放、平移等一系列操作从不同角度观察三维模型。

图6 三维重建界面

由显示效果可以看出，IDVS-N系统能清晰地在原始图像上标注疑似肺结节，同时能提供完整、逼真的三维结节图像，多角度、多层次的展示组织区域内部的细节信息，且用户能对三维模型进行旋转、缩放等交互操作，基本满足设计要求。但三维重建功能也存在一定缺陷，比如对于一些与肺壁相连的结节，由于周围软组织没有去除，重建效果不太理想，为了解决这一问题，我们还需要做进一步的肺结节图像分割研究，实现更好的重建效果。

4 结束语

肺结节智能检测与三维可视化系统(IDVS-N)，将基于人工智能的肺结节检测技术与三维重建技术进行结合。采用Web可视化界面完成肺结节自动检测和三维可视化，具有操作简便、可跨平台的特点，能够帮助提高肺部疾病诊断效率和准确率，减轻临床医生阅片的压力。本文对基于人工智能的肺结节检测技术和DICOM三维重建技术的融合应用做了初步的探索，进一步的研究需要解决如下两个问题：1)对于分辨率高的图片检测效率还有待提高；2)结节没有进行分割，区域图像可能有其他组织粘连，导致重建效果不太理想等等。当上述问题解决后，将更有利于人工智能技术的临床应用，能更切实地帮助医生对病情做出准确判断。