基于多尺度快速非局部平均滤波的超声图像去斑算法

雷露露，周颖玥*，李驰，王欣宇，赵家琦

基于多尺度快速非局部平均滤波的超声图像去斑算法

雷露露1，2，周颖玥1，2*，李驰1，2，王欣宇1，2，赵家琦1，2

（1.西南科技大学 信息工程学院，四川 绵阳 621010； 2.特殊环境机器人技术四川省重点实验室（西南科技大学），四川 绵阳 621010）（*通信作者电子邮箱zhouyingyue@swust.edu.cn）

超声成像因其便捷、廉价、无辐射等优点被广泛应用于临床诊断中，然而图像中的斑点噪声可能对临床诊断或后续图像分析产生不利影响。作为一种典型的去噪技术，在利用非局部平均滤波（NLMF）对超声图像进行去斑时，会存在时耗高、滤波参数不易设置等不足，因此，提出一种多尺度快速非局部平均滤波（MF-NLMF）算法用来去除超声图像的斑点噪声。首先提出快速非局部平均滤波（F-NLMF）算法，利用互相关滤波技术减少运算时耗；接着设置多种窗口参数获得多幅去斑结果，而模型参数值可根据窗口尺寸自适应调节；最后将多幅去斑结果进行融合得到最终的去斑图像。实验结果表明：在相同实验条件下，与传统NLMF算法相比，F-NLMF算法的运算时间至少减少了96.04%；而MF-NLMF算法与迭代贝叶斯非局部均值滤波（IBNLMF）等算法相比，去斑图像的峰值信噪比（PSNR）值、特征相似度测度（FSIM）值、对比度噪声比（CNR）和信噪比（SNR）分别提高了0.73 dB、0.011、0.000 5、0.001 6以上。

斑点噪声；非局部平均滤波；多尺度；自适应；快速滤波

0 引言

超声成像是观察人体内部组织器官的有效技术，与其他医学影像成像方式相比，超声成像具有无创、无损、廉价、方便、实时等优点，被广泛应用在医学诊断中，尤其是孕妇胎儿成长状况的检查［1］。然而像所有相干成像方法一样，由于成像过程的固有缺陷，超声图像存在斑点噪声［2］污染，从而降低了超声图像的质量，给临床诊断以及后续的图像特征提取和识别造成了不利的影响。因此，抑制超声图像中的斑点噪声并保留图像中的重要细节是十分必要的。

针对超声图像的斑点抑制问题，学者们已经提出许多方法，这些方法可分为六类：局部自适应滤波、基于偏微分方程的滤波、基于小波变换的滤波、基于非局部平均的滤波、基于深度学习的去斑方法和混合去斑法。经典的自适应滤波去斑方法包括Lee滤波［3］、Frost滤波［4］、Kuan滤波［5］、自适应中值滤波［6］等，虽然这类方法具有较低的算法复杂度，但它们往往是在损失一定的边缘细节的基础上去除斑点噪声。基于偏微分方程的滤波方法包括各种形式的各向异性扩散［7-10］去斑方法，这些方法能在一定程度上避免原始图像的模糊，但涉及迭代运算，计算比较复杂［11］。基于小波变换［12-13］的多尺度去斑方法有硬阈值法、软阈值法等，它们的去斑效果良好，但在细节保持能力上仍有限。基于非局部平均滤波（Non-Local Means Filter， NLMF）的去斑方法充分考虑了图像中充满着丰富的冗余信息，采用非局部加权平均的方式对图像去斑，该类方法简单、易操作，但存在速度较慢、参数设置不灵活的问题。随着深度学习技术在信号处理领域的广泛应用，一些学者利用神经网络模型去除图像斑点噪声，也取得了非常不错的效果，然而该技术在网络模型训练的过程中需要用到大量的图片，因此操作起来具有一定的复杂性。混合去斑方法是将多种图像先验融合到一个去斑模型中，例如将非局部相似与稀疏表示［14］或低秩先验［15］结合形成去斑模型，这类方法也取得了较好的去斑效果，但是在模型求解时用到了复杂的优化方法，并且有一定量的参数需要设置。

1 斑点噪声模型

超声图像在形成的过程中由于高频波在不同声阻抗的组织之间的边界处发生了部分反射和透射，形成了一系列相干波，这些相干波互相干涉，从而产生了散斑噪声［16-17］。通常认为斑点噪声是一种乘性噪声，并服从瑞利分布［18］。然而，为了提高图像的质量，超声成像仪在输出之前对射频信号进行一系列的标准处理，例如非线性放大、对数压缩、低通滤波、插值等运算，这些操作可能改变了原始信号的统计特性［19］。目前，常用的斑点噪声模型如下：

2 NLMF技术

3 MF‑NLMF算法

3.1 快速非局部平均滤波算法

如前所述，NLMF算法在进行超声图像斑点噪声去除时，由于在计算图像块之间的相似距离时存在大量重复运算，使算法的运行速度不够快，所以本文首先提出了一种快速非局部平均滤波（Fast Non-Local Mean Filter， F-NLMF）算法，利用互相关滤波对算法进行加速。

这样就形成了快速非局部平均滤波算法。

3.2 MF-NLMF算法

在实验时发现：图像块之间的相似度与匹配区域的大小和噪声强度有关。如图1所示：图（a）是噪声强度为5的模拟斑点噪声图像，选取图像中两个不同位置的像素点，并以该像素点为中心，设置尺寸大小不同的图像块，如图（b）、图（c）所示，再分别计算每个图像块与其相邻图像块之间的相似距离，结果如表1所示。可以看出：匹配区域的大小和噪声强度都影响着相似距离的大小，这也直接影响到去斑效果。针对这个问题，本文根据窗口参数和噪声强度对滤波参数进行自适应调整。同时通过实验还发现：窗口大小（匹配区域和搜索区域大小）和噪声强度都会影响去斑效果，若选择单一的窗口区域，则去斑后的图像会缺失较多的边缘细节。为此本文设置了不同窗口区域大小，利用多尺度的方式将得到的不同效果的去斑结果图进行融合，以此来获得更佳的去斑效果，具体如下。

图1 模拟斑点噪声图像及其不同位置不同尺寸的图像块示意图

表1 不同图像块尺寸下的相似距离d值

由上述可知：相似距离因噪声强度和匹配区域的变化而改变，这使得相似权重发生变化，最终算法的去斑效果受到影响。为了减缓相似权重因噪声强度和匹配区域的不同而带来的改变，得到去斑效果较好的结果图，本文对相似权重计算公式中的衰减参数进行相应的设置。通过大量实验，最终将衰减参数设置为：

得到个滤波结果后，本文将其进行融合，利用如下加权平均处理的方式得到最终去斑图像：

4 实验结果与分析

4.1 图像质量评价标准

为评价所提算法去除超声图像斑点噪声的性能，本文使用了四种图像质量评价标准，包括峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）、特征相似度测度（Feature SIMilarity index， FSIM）、对比度噪声比（Contrast-to-Noise Ratio， CNR）和信噪比（Signal-to-Noise Ratio， SNR）。

2）FSIM：是一种结构相似度测度，用来测试两幅图像之间的特征相似性。FSIM主要以相位相似度和图像梯度相似度来度量局部结构的重要性，在评价质量分数阶段，将相位相似度作为权值，增大了与人眼视觉感知的相关性，是一种较好的质量评估方法，具体计算参见文献［26］。

3）CNR和SNR：这两个指标主要用于在无参考图像时做图像质量评价，而本文研究的对象是超声图像，实际临床中是没有理想参考图像的，因此需要用CNR和SNR进行去斑后的图像质量评价，相应的计算公式如下：

图2 测试图像示例

4.2 F-NLMF实验结果与分析

表2 不同算法对带斑点噪声的“头部”幻影图像的去斑速度比较

4.3 MF-NLMF实验结果与分析

为了定量评价本文MF-NLMF算法在去除斑点噪声上的性能，利用图2，将MF-NLMF算法与各向异性扩散去斑法（Speckle Reducing Anisotropic Diffusion， SARD）、斑点抑制双边滤波法（Speckle Reducing Bilateral Filter， SRBF）、传统块模式非局部均值滤波法（Traditional Blockwise Non-Local Mean Filter， TBNLMF）、优化贝叶斯非局部均值滤波（Optimized Bayesian Non-Local Means Filter， OBNLMF）、权重细化非局部均值滤波法（Weight Refining Non-Local Mean Filter，WRNLMF）和IBNLMF进行对比。

4.3.1 “头部”幻影图像斑点噪声去除实验

4.3.2 仿真超声图像去斑实验

针对图2（b）的Field_Ⅱ仿真超声图像采用7种去斑算法进行斑点噪声去除，由于篇幅限制，本文仅展示“囊肿”仿真超声图像的去斑结果，如图4所示。从图中可以看出：SRAD、SRBF、TBNLMF算法所获得的去斑图像中剩余了较多的斑点噪声，背景区域不光滑；WRNLMF、IBNLMF以及本文所提算法斑点噪声去除得较为干净，而本文MF-NLMF算法的结果图中目标区域的边界更加平滑，背景区域更加均匀。

图3 时各算法对含斑噪声“头部”幻影图像的去斑结果

表3 不同算法对带斑点噪声的“头部”幻影图像进行去斑的结果

为更加客观地对去斑结果进行比较分析，本文采用无参考图像的质量评价标准CNR和SNR进行结果评价。如图4（a）所示，本文手动选取出3对目标区域和背景区域，且每一对中的目标区域和背景区域是相邻的，即图中用红色矩形框圈出的部分，然后计算不同去斑图像相应三对区域的CNR值和SNR值，结果如表4所示。从中可以看出：无论选择哪个区域，本文MF-NLMF算法得到的目标区域的CNR值和SNR值都是最大的，即去斑图像质量最好。

图4 不同去斑算法对Field Ⅱ仿真“囊肿”超声图像的去效果

表4 不同算法对Field Ⅱ仿真“囊肿”超声图像的去斑定量结果 单位： dB

4.3.3 真实超声图像去斑实验

为评估本文MF-NLMF算法对真实超声图像的去斑效果，本文对3张真实超声图像进行了去斑处理，如图5所示。可以看出：本文方法不但可以消除绝大多数斑点噪声，而且去斑图像中器官内部区域较为干净，各器官的边缘分界较为清楚，这将有利于医生基于原始超声图像和去斑超声图像对病情的辅助诊断。

综上所述，本文MF-NLMF算法对模拟斑点噪声图像、Field Ⅱ仿真超声图像和真实超声图像的去斑效果都较好。F-NLMF快速滤波算法的去斑速度至少为传统NLMF算法的25.25倍，在此基础上提出的MF-NLMF算法虽增加了一定的去斑次数，但去斑效果得到了较明显提升，并且MF-NLMF算法的时间消耗仍比其他去斑算法的时耗要少，获得了去斑效果和时间性能的最佳平衡。

5 结语

本文充分挖掘了经典NLMF算法在超声图像斑点噪声去除上的潜力，针对原始NLMF算法在时间复杂度和参数设置上的缺陷，对NLMF算法中时间耗费最多的图像块之间相似度计算上进行优化，充分利用互相关滤波，减少了大量重复运算，从而形成了快速算法；同时对NLMF算法中的衰减参数和窗口参数进行了巧妙设置，提出了一种多尺度非局部平均滤波算法MF-NLMF，对多种窗口参数下的非局部平均滤波结果进行加权平均处理，而且衰减参数根据窗口参数的不同而自适应设置，从而融合了多种窗口参数下的滤波结果。

通过对模拟斑点噪声图像、仿真超声图像和真实超声图像进行去斑测试，并与其他典型的超声图像去斑算法进行比较，结果表明：本文MF-NLMF算法在速度和去斑效果上都有明显优势，较传统NLMF算法速度提高了，PSNR值较其他去斑方法至少可以提高0.73 dB。将本文算法用于实际临床超声图像的去斑，可以为医生的诊断提供一定的辅助作用。

[1] 郑渊悦，徐铭恩，王玲. 改进权值非局部均值超声图像去噪［J］. 中国图象图形学报， 2017， 22（6）：778-786.（ZHENG Y Y， XU M E， WANG L. Improved weighted non-local means ultrasonic image denoising algorithm［J］. Journal of Image and Graphics， 2017， 22（6）：778-786.）

[2] 沈民奋，陈婷婷，张琼，等. 医用超声图像散斑去噪方法综述［J］. 中国医疗器械信息， 2013， 19（3）：17-22.（SHEN M F， CHEN T T， ZHANG Q， et al. The review of speckle denoising in medical ultrasound imaging［J］. China Medical Device Information， 2013， 19（3）： 17-22.）

[3] 江勇，张晓玲，师君. 极化SAR改进Lee滤波相干斑抑制研究［J］. 电子科技大学学报， 2009， 38（1）：5-8.（JIANG Y， ZHANG X L， SHI J. Speckle reduction for polarimetric SAR images by improved Lee filter［J］. Journal of University of Electronic Science and Technology of China， 2009， 38（1）： 5-8.）

[4] 杨婧玮，李贺，王智超. 改进Frost算子在SAR图像斑点噪声抑制中的应用［J］. 测绘科学技术学报， 2009， 26（4）：280-282， 287.（YANG J W， LI H， WANG Z C. Application of SAR image de-speckling method based on improved Frost filer［J］. Journal of Geomatics Science and Technology， 2009， 26（4）： 280-282， 287.）

[5] AKL A， TABBARA K， YAACOUB C. An enhanced Kuan filter for suboptimal speckle reduction［C］// Proceedings of the 2nd International Conference on Advances in Computational Tools for Engineering Applications. Piscataway： IEEE， 2012： 91-95.

[6] LOUPAS T， McDICKEN W N， ALLAN P L. An adaptive weighted median filter for speckle suppression in medical ultrasonic images［J］. IEEE Transaction on Circuits and Systems， 1989， 36（1）：129-135.

[7] MA X S， SHEN H F， ZHANG L P， et al. Adaptive anisotropic diffusion method for polarimetric SAR speckle filtering［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2015， 8（3）： 1041-1050.

[8] RAMOS-LLORDÉN G， VEGAS-SÁNCHEZ-FERRERO G， MARTÍN-FERNÁNDEZ M， et al. Anisotropic diffusion filter with memory based on speckle statistics for ultrasound images［J］. IEEE Transactions on Image Processing， 2015， 24（1）： 345-358.

[9] PERONA P， MALIK J. Scale-space and edge detection using anisotropic diffusion［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1990， 12（7）：629-639.

[10] YU Y J， ACTON S T. Speckle reducing anisotropic diffusion［J］. IEEE Transactions on Image Processing， 2002， 11（11）： 1260-1270.

[11] 付晓薇，杨雪飞，陈芳，等. 一种基于深度学习的自适应医学超声图像去斑方法［J］. 电子与信息学报， 2020， 42（7）：1782-1789.（FU X W， YANG X F， CHEN F， et al. An adaptive medical ultrasound images despeckling method based on deep learning［J］. Journal of Electronics and Information Technology， 2020，42（7）：1782-1789.）

[12] OVIREDDY S， MUTHUSAMY E. Speckle suppressing anisotropic diffusion filter for medical ultrasound image［J］. Ultrasonic Imaging， 2014， 36（2）： 112-132.

[13] ZHANG J， LIN G K， WU L L， et al. Speckle filtering of medical ultrasonic images using wavelet and guided filter［J］. Ultrasonics， 2016， 65： 177-193.

[14] JIANG J， JIANG L W， SANG N. Non-local sparse models for SAR image despeckling［C］// Proceedings of the 2012 International Conference on Computer Vision in Remote Sensing. Piscataway： IEEE， 2012： 230-236.

[15] ZHANG Y S， ZHAO Y C， JI K F， et al. SAR image despeckling by iterative non-local low-rank constraint［C］// Proceedings of the 2016 Progress in Electromagnetic Research Symposium. Piscataway： IEEE， 2016： 3564-3568.

[16] COUPE P， HELLIER P， KERVRANN C， et al. Nonlocal means-based speckle filtering for ultrasound images［J］. IEEE Transactions Image Processing， 2009， 18（10）： 2221-2229.

[17] SUDEEP P V， PALANISAMY P， RAJAN J， et al. Speckle reduction in medical ultrasound images using an unbiased non-local means method［J］. Biomedical Signal Processing and Control， 2016， 28： 1-8.

[18] 刘春明，张相芬，陈武凡. 基于小波的医学超声图像斑点噪声抑制方法［J］. 中国医学物理学杂志， 2006， 23（5）： 364-367， 394.（LIU C M， ZHANG X F， CHEN W F. Wavelet-based method for speckle reduction in medical ultrasound image［J］. Chinese Journal of Medical Physics， 2006， 23（5）： 364-367， 394.）

[19] 方宏道，周颖玥，林茂松. 基于贝叶斯非局部平均滤波的超声图像斑点噪声抑制算法［J］. 计算机应用， 2018， 38（3）：848-853， 872.（FANG H D， ZHOU Y Y， LIN M S. Speckle suppression algorithm for ultrasound image based on Bayesian nonlocal means filtering［J］. Journal of Computer Applications， 2018， 38（3）：848-853， 872.）

[20] 胡静波. 改进的中值滤波去噪算法分析［J］. 信息技术， 2011， 35（8）：32-33， 36.（HU J B. Analysis of improved median filtering de-noising algorithm［J］. Information Technology， 2011， 35（8）：32-33， 36.）

[21] ZHAN Y， DING M Y， WU L X， et al. Nonlocal means method using weight refining for despeckling of ultrasound images［J］. Signal Processing， 2014， 103： 201-213.

[22] ZHOU Y Y， ZANG H B， XU S， et al. An iterative speckle filtering algorithm for ultrasound images based on Bayesian nonlocal means filter model［J］. Biomedical Signal Processing and Control， 2019， 48： 104-117

[23] 邢笑笑，王海龙，李健，等. 渐近非局部平均图像去噪算法［J］. 自动化学报， 2020， 46（9）：1952-1960.（XING X X， WANG H L， LI J， et al. Asymptotically non-local average image denoising algorithm［J］. Acta Automatica Sinica， 2020， 46（9）：1952-1960.）

[24] JENSEN J A. Simulation of advanced ultrasound systems using Field Ⅱ［C］// Proceedings of the 2nd IEEE International Symposium on Biomedical Imaging： Nano to Macro. Piscataway： IEEE， 2004： 636-639.

[25] Field Ⅱ simulation program ［EB/OL］. （2012-04-30）［2021-02-19］. http：//field-ii.dk/？examples/cyst_phantom/cyst_phantom.html.

[26] 张中兴，刘慧，郭强，等. 结合非局部低秩先验的图像超分辨重建概率模型［J］. 计算机辅助设计与图形学学报， 2021， 33（1）：142-152.（ZHANG Z X， LIU H， GUO Q， et al. Super-resolution reconstruction using probability model combined with nonlocal low-rank prior［J］. Journal of Computer-Aided Design and Computer Graphics， 2021， 33（1）：142-152.）

Speckle removal algorithm for ultrasonic image based on multi-scale fast non-local means filtering

LEI Lulu1，2， ZHOU Yingyue1，2*， LI Chi1，2， WANG Xinyu1，2， ZHAO Jiaqi1，2

（1，，621010，；2（），621010，）

Ultrasound imaging is widely used in clinical diagnosis because of its advantages of convenience， low cost and non-radiation， however， speckle noise in the image may adversely affect clinical diagnosis or subsequent image analysis.As a typical denoising technology， when using Non-Local Means Filter（NLMF）for speckle removal of ultrasonic image，there will be shortcomings such as high time consumption and difficulty in setting filtering parameters. Therefore， a Multi-scale Fast Non-Local Means Filter （MF-NLMF） algorithm was proposed to remove speckle noise of ultrasonic image. A Fast NLMF （F-NLMF） algorithm was first give out to reduce the computing time by using the mutual correlation filtering technique. Then multiple window parameters were set to obtain multiple speckle removal results， and the model parameters were able to be adjusted adaptively according to the window size. The final speckle removal image was obtained by fusing the multiple speckle removal results. Experimental results show that under the same experimental conditions， the F-NLMF algorithm reduces the computing time by at least 96.04% compared with the traditional NLMF algorithm. Compared with other six algorithms such as Iterative Bayesian Non-Local Mean Filtering （IBNLMF）， the proposed MF-NLMF has the speckle removal image with the Peak Signal-to-Noise Ratio （PSNR） value improved by more than 0.73 dB， the Feature SIMilarity index （FSIM） value increased by more than 0.011， the Contrast-to-Noise Ratio （CNR） and Signal-to-Noise Ratio （SNR） values raised by more than 0.000 5 and 0.001 6 respectively.

speckle noise; Non-Local Means Filter (NLMF); multi-scale; adaptive; fast filter

This work is partially supported by National Natural Science Foundation of China （61401379）， Key Research and Development Project of Science and Technology Department of Sichuan Province （2021YFG0383）， LongShan Academic Talent Research Support Program of Southwest University of Science and Technology （17LZX648， 18LZX611）.

LEI Lulu， born in 1997， M. S. candidate. Her research interests include image restoration.

ZHOU Yingyue， born in 1983， Ph. D.， associate research fellow. Her research interests include image processing and analysis.

LI Chi， born in 1998， M. S. candidate. His research interests include digital image processing.

WANG Xinyu， born in 1997， M. S. candidate. His research interests include artificial intelligence.

ZHAO Jiaqi， born in 1998， M. S. candidate. His research interests include artificial intelligence.

TP391.41

A

1001-9081（2022）06-1950-07

10.11772/j.issn.1001-9081.2021040620

2021⁃04⁃20；

2021⁃07⁃01；

2021⁃07⁃20。

国家自然科学基金资助项目（61401379）；四川省科技厅重点研发项目（2021YFG0383）；西南科技大学龙山学术人才科研支持计划项目（17LZX648， 18LZX611）。

雷露露（1997—），女，四川广安人，硕士研究生，主要研究方向：图像恢复；周颖玥（1983—），女，四川马尔康人，副研究员，博士，主要研究方向：图像处理与分析；李驰（1998—），男，四川成都人，硕士研究生，主要研究方向：数字图像处理；王欣宇（1997—），男，四川德阳人，硕士研究生，主要研究方向：人工智能；赵家琦（1998—），男，四川成都人，硕士研究生，主要研究方向：人工智能。