基于多尺度深度卷积神经网络的骨髓白细胞识别研究

陈德海 潘韦驰 丁博文 黄艳国

摘  要： 针对骨髓白细胞人工提取特征复杂，识别困难等问题，提出一种多尺度滤波深度卷积神经网络（MS?DCNN）模型。首先，该模型将传统的卷积神经网络模型的滤波器尺寸缩小，以减少模型的总体参数以提升网络模型训练的效率;其次，通过增加滤波器的个数和网络深度来提取骨髓血细胞更丰富的特征;最后通过在Sysmex（希森美康）公开数据集上对6类骨髓白细胞进行实验，并与其他主流分类方法进行对比。结果表明，该文提出的MS?DCNN模型准确率达到了98.9%，高于其他主流方法，其有效性得到了验证。

关键词： 骨髓白细胞; 卷积神经网络; 多尺度特征; 深度学习; 机器视觉; 图像分类

中图分类号： TN711?34; TP391.4                 文献标识码： A                      文章编号： 1004?373X（2020）02?0160?04

Research of bone marrow white blood cell recognition based on multi?scale deep convolutional neural network

CHEN Dehai， PAN Weichi， DING Bowen， HUANG Yanguo

Abstract： A multi?scale filtering depth convolutional neural network （MS?DCNN） model is proposed to improve the problems of complex features and difficult recognition of manual extraction of the bone marrow white blood cells. In this MS?DCNN model， the filter size of the traditional convolutional neural network model is shrinked to reduce the overall parameters of it， so as to improve the efficiency of network model training. The more abundant features of bone marrow blood cells can be extracted by increasing the number of filters and the network depth. The experiment of six types of bone marrow white blood cells are conducted on the Sysmex open datasets， and compared with other mainstream classification methods. The results show that the accuracy of the proposed MS?DCNN model is up to 98.9%， higher than other mainstream methods， and its effectiveness has been verified.

Keywords： bone marrow white blood cell; convolution neural network; multi?scale features; deep learning; machine vision; image classification

0  引  言

白细胞识别在医疗诊断中作用巨大。例如，细胞谱相的识别与某个特定的疾病相关联[1?2]，白细胞的计数已被证明与多种疾病相关联[3]等。最初，白细胞识别与计数在显微镜下手工进行，这样不仅耗时，而且错误率也高。由于不同类型的白细胞形状相似，细胞识别的准确性仍然对传统的显微成像技术造成挑战。人体中血细胞有红细胞、白细胞和血小板三种类型。与其他细胞类型相比，白细胞的识别分类被认为是一个活跃的研究领域，因为白细胞负责人体的免疫。骨髓中这些细胞的计数为医生提供了宝贵的信息，有助于白血病和艾滋病等许多重要诊断[4]。

随着计算机视觉技术的蓬勃发展，计算机辅助工具在医疗领域里进行疾病诊断的应用也越来越广泛。精确的计算机辅助工具有助于加快疾病的诊断，减少医生的工作量提高工作效率。文献[5]总结了2003—2011年该领域的研究成果，对于白细胞识别分类的准确率在70.6%～96%之间。文献[6]使用属性多层次结构分析方法对白细胞6分类进行研究，其综合准确率达到95.98%。

卷积神经网络[7]（Convolutional Neural Network，CNN）是一种重要的深度学习技术，在计算机视觉领域中，如图像分类[8]、目标识别[9]、图像检索[10]等领域，都得到了广泛的应用，而现代意义上的CNN则是由LeCun等对手写数字识别的研究中提出来的经典CNN模型LeNet?5[11]，其后出现了更为复杂的AlexNet[12]，ResNet[13]，NasNet[14]等模型。卷积神经网络中的卷积和池化操作对数据进行特征提取可以有效解决图像因平移、选择或缩放等变换导致特征提取不准确的问题，通过训练学习到输入图像的局部和全局特征，解决了人工提取特征带来的特征提取不充分的问题。

1  实验方法

1.1  骨髓白细胞数据集的准备

1.1.1  骨髓白细胞数据集

本文的骨髓样本细胞显微图像来自于Sysmex（希森美康）公开实验数据集。数据集中包含骨髓白细胞6个分类：成髓细胞（myeloblast）、前髓细胞（promyelocyte）、髓细胞（myelocyte）、间质细胞（metamyelocyte）、杆状核中性粒细胞（Band neutrophils）和分叶核中性粒细胞（Segmented neutrophils）。每个类别由5个骨髓白细胞显微镜图像组成，如图1所示。

1.1.2  数据增强

深度学习需要大量的学习样本。学习样本的大小影响着网络的训练结果，因此需要对数据集进行扩充。但对于骨髓白细胞图像，能够获取的训练数据是有限的，需要通过图像处理的方法扩增样本数量。本研究采取平移、选择以及缩放等方法扩充数据集，数据集中每类骨髓白细胞分为5种，每种扩充到100张样本，总计3 000张样本。

1.2  实验平台

图像工作站为PC机，实验环境如下：WIN10 64位操作系统，i7?7700HQ CPU，16 GB内存和GeForce GTX 1060显卡，在TensorFlow平台下进行，所有的样本尺寸均归一化为227[×]227。

1.3  卷积神经网络

卷积神经网络是一种经典的深度学习算法，可以从少量预处理甚至原始的样本图片中提取图像特征，最终能获得一副图像的高级语义特征。CNN一般由卷积层、池化层以及全连接层组成。卷积层用来提取特征，并且在计算过程中通过权值共享的形式来减少网络参数。模型的训练过程分为前向传播和反向传播两个阶段。

1） 前向传播阶段，传播过程对每层输入特征的运算公式如下：

[y（l）=fi∈mWli?x（l-1）i+bl] （1）

式中：[y（l）]为第[l]个卷积层的输出;[x（i）]为输入向量;“[?]”为卷积运算;[bl]为偏置;[Wi]为该层对应的卷积核权重;[m]为输入特征图的集合; [fx]为非线性激活函数，常用的有Sigmoid，Tanh和Relu等。

2） 反向传播阶段，对于有m个样本的数据集，网络的前向传播阶段会输出每个类别线性预测结果，根据这个结果和网络期望的输出定义网络的整体目标函数为：

[E（W）=mini=1ML（zi）+λW2] （2）

式中：[L（zi）]是网络模型对应的损失函数，通过迭代训练最小化损失函数来降低网络的分类误差;[zi]为网络反向传播的输入，即式（1）中最后一层网络的输出;[W]为网络在本次迭代训练中所占的权值;[λ]为相应的归一项所占比重。

1.4  多尺度滤波深度卷积神经网络模型设计

多尺度滤波深度卷积神经网络（Multi?Scale Filtering Deep Convolution Neural Network，MS?DCNN）模型由二部分组成：第一部分为多尺度滤波设计;第二部分为网络结构设计。多尺度滤波设计部分为：将传统的大卷积核尺寸修改为3[×]3的小卷积核，减少了模型的参数量;增加卷积核的数量，获得骨髓白细胞不同尺度的多个特征图，获得其更加丰富的特征。

网络结构设计部分分为两种：

1） MS?DCNN模型的前一部分采用一层卷积层加一层池化层的组合方式;

2） MS?DCNN模型的后一部分采用叠加两层卷积层加一层池化层的组合方式，在模型的最后采用三层全连接层的方式。

综上所述，MS?DCNN模型如图2所示。激活函数选用线性整流函数（Rectified Linear Units，ReLU），增强了网络的稀疏性，并且减少了参数之间的依赖关系，增强了模型的表达能力。

1.5  实验设计

为了验证MS?DCNN模型的可行性，本文从经过数据扩充后的3 000张骨髓白细胞数据集中取2 700张作为训练集，300张图片作为验证集用来测试模型性能。训练过程中设定批训练样本数量（batch_size）为40，初始学习率（learning_rate）为0.01，并采用Adam优化器训练数据，并与当前主流的深度学习模型进行对比实验。同时，为了测试MS?DCNN模型的有效性，与其他骨髓白细胞识别分类方法进行准确度比较。

2  实验结果

2.1  MS?DCNN实验结果

通过对MS?DCNN模型进行3 000次迭代训练后，模型逐渐收敛，其损失函数（loss）及学习率变化曲线如图3所示。

从图中可以看出，随着迭代次数的增加，损失（loss）值和学习率不断降低，当迭代到3 000次时，损失的值为0.067，模型能有效的收敛，此时验证集的准確率为98.9%。

2.2  与主流深度学习模型的对比结果

参数设定不变，在相同数据集中与当前主流的深度学习模型，LeNet，AlexNet，CifarNet，ResNet进行实验对比，其损失函数变化曲线如图4所示。

由图4可知，LeNet，ResNet随着迭代次数的增加能有效收敛，当迭代到2 000次时，loss值逐渐接近于0;AlexNet当迭代到1 400次时，开始逐渐收敛;CifarNet在本数据集下无法收敛，说明该模型不适合进行骨髓白细胞识别分类。各模型准确率对比实验结果见表1。

由表1可知，本文的MS?DCNN模型对于骨髓白细胞的识别准确率达到了98.9%，比主流深度学习模型中表现最好的ResNet高出4.23%，比其他深度学习模型高出33.2%左右，表明MS?DCNN模型优于其他主流深度学习模型。

2.3  与其他骨髓白细胞识别分类方法对比结果

将MS?DCNN模型分别与其他分类方法进行对比，见表2。

由表2可知，各种分类方法对于骨髓白细胞有着或好或坏的分类性能。对于总体的验证样本数据集，本文的MS?DCNN分类方法，取得了98.9%的最高分类准确率，比表现最好的FGSA+RBNN的准确度高出3.9%，比其他分类方法高出9.7%左右，进一步证明了本文针对骨髓白细胞识别提出的网络模型的有效性。

3  结  语

本文提出一种多尺度深度卷积神经网络模型，进行骨髓白细胞识别分类。该模型通过滤波器的调整、网络结构的优化，充分利用骨髓白细胞的特征，以提高白细胞识别分类的准确性。通过对比实验证实，提出的MS?DCNN模型优于主流的深度学习模型以及现有的白细胞分类方法，这证实该模型具有较好的分类性能;同时也证明，深度学习的思想在医学图像处理领域具有重要的理论意义及应用价值。接下来的研究中，在干扰条件下更多类别细胞的识别将成为研究重点，研究出具有较高泛化能力与鲁棒性的网络结构，将会大大改善当前的工作。

注：本文通讯作者为潘韦驰。

参考文献

[1] ZHANG Y， BAI J， WU H， et al. Trapping cells in paper for white blood cell count [J]. Biosens bioelectron， 2015， 69： 121?127.

[2] YI F， MOON I， LEE Y H. Three?dimensional counting of morphologically normal human red blood cells via digital holographic microscopy [J]. Journal of biomedical optics， 2015， 20（1）： 16005.

[3] LU G， FEI B. Medical hyperspectral imaging： a review [J]. Journal of biomedical optics， 2014， 19（1）： 10901.

[4] NAMDEV D P， SATISH T H. Fractional gravitational search?radial basis neural network for bone marrow white blood cell classification [J]. The imaging science journel， 2018， 66： 106?124.

[5] SARASWAT M， ARYA K V. Automated microscopic image analysis for leukocytes identification： a survey [J]. Micron， 2014， 65： 20?33.

[6] 郝连旺，洪文学.属性多层次结构关系在白细胞形态六分类技术中的应用[J].中国生物医学工程学报，2015，34（5）：533?539.

[7] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1999， 86（11）： 2278?2324.

[8] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// NIPS′12 Proceedings of 25th International Conference on Neural Information. Nevada： ACM， 2012： 1097?1105.

[9] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real?time object detection [C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 779?788.

[10] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 1?9.

[11] YANG H F， LIN K， CHEN C S. Supervised learning of semantics?preserving hash via deep convolutional neural networks [J]. IEEE transactions on pattern analysis & machine intelligence， 2015（99）： 437?451.

[12] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 11?17.

[13] ZOPH B， VASUDEVAN V， SHLENS J， et al. Learning transferable architectures for scalable image recognition [EB/OL]. [2019?03?19]. https：//blog.csdn.net/u012193416/article/details/88658629.

[14] LECUN Y， KAVUKCUOGLU K， CLE?MENT F. Convolutional networks and applications in vision [C]// Proceedings of 2010 IEEE International Symposium on circuits and systems. Paris： IEEE， 2010： 253?256.

[15] THEERA?UMPON N. Patch?based white blood cell nucleus segmentation using fuzzy clustering [J]. Research gate， 2016（14）： 15?20.

作者简介：陈德海（1978—），男，博士研究生，副教授，研究方向为深度学习与智能控制技术。

潘韦驰（1994—），男，硕士研究生，研究方向为深度学习与模式识别。

黄艳国（1973—），男，博士，教授，研究方向为智能控制与信息技术。