胶囊内窥镜系统图像压缩算法设计及实现*

周丁华姜汉钧王月娟吕晓娟王志华



胶囊内窥镜系统图像压缩算法设计及实现*

周丁华①*姜汉钧②王月娟①吕晓娟①王志华②

周丁华,男,(1965- ),博士，主任医师。火箭军总医院全军肝胆胃肠病中心，从事消化外科临床与基础研究工作。

目的：设计一种高效的压缩、存储和传输的图像处理系统，以满足高性能胶囊内窥镜对消化道疾病临床诊断的需要。方法：在图像处理系统的设计中引入在不同分解尺度取不同阈值的屏蔽函数和基于统计分析的优化编码方案，并对其进行专门测试。结果：通过专门的测试显示，用此图像处理系统的胶囊内窥镜的图像传输速率为12帧/s，景深0～50 mm，实现了图像数据的高效、高保真的压缩和高速的传输要求。结论：通过实现图像处理系统的设计，在极大降低能耗的同时可较好地解决图像传输、还原的应用需求，并能够满足消化道系统监测与诊断需求。

胶囊内窥镜；图像压缩算法；JPEG-LS编码器；低功耗

①火箭军总医院全军肝胆胃肠病中心 北京 100088

②清华大学微电子研究所 北京 100084

[First-author’s address] The General Hospital of the PLA Rocket Force, Beijing 100088, China.

21世纪伊始，以色列Given Image公司成功研发出无线胶囊式内窥镜，并因其在消化道疾病的临床诊断中具有的有效性、安全性及无创性等特点而被迅速应用于临床[1-3]。胶囊内窥镜由一组微小元器件组成，受检者口服胶囊内窥镜后，胶囊内窥镜会通过内置的摄像头在消化道内以一定的频率拍摄照片，并通过信号传输装置将照片传出体外，利用体外的图像记录仪和影像工作站了解受检者的整个消化道情况，从而对其病情做出诊断。

在胶囊内镜检查为小肠疾病诊断开辟了新领域的同时，带来了新技术的挑战：胶囊内窥镜拍摄的照片数量巨大，如何在有限电量制约下准确、高效地将所拍摄照片传出是关键的问题[4]。本研究根据胶囊内窥镜的特定工作环境要求，提出一个适合无线内窥镜的无损和准无损压缩算法，并设计实现低功耗、小面积的图像压缩器硬件。

1 胶囊内窥镜系统图像压缩算法

图像压缩指以较少的比特有损或无损地表示原来的像素矩阵的技术，也称图像编码。进行图像压缩可以较快地传输各种信源、提高信道的利用率、降低发射功率、节约能源以及减少存储容量等[5]。目前，较为广泛应用的图像压缩算法有JPEG压缩、JPEG2000压缩、小波变换图像压缩以及分形图像压缩等，而各类压缩算法在压缩图像质量和压缩比等方面各有优势[6]。基于胶囊内窥镜的图像数据压缩模块，要在无线通信带宽有限、无线发射能耗有限的条件下，使压缩后的图片尽可能清晰地传出则是很大的挑战。本研究设计采用的无损和准无损图像压缩算法由专用的图像滤波算法和标准的JPEG-LS压缩算法组成。

1.1 专用图像滤波算法

目前，CMOS图像传感器[7]广泛采用的一种原始传感像素排列格式是Bayer[8]彩色滤波阵列格式。其中，奇数行的图像数据为蓝色分量(B)和绿色分量(G)间隔排列；偶数行的图像数据为绿色分量(G)和红色分量(R)间隔排列，如图1所示。

图1 原始Bayer CFA格式及滤波后图像格式示意图

CMOS图像传感器只能感应光线强度，不能感应色彩信息。因此，光线在打到传感芯片之前先通过彩色滤镜阵列，使得相应的彩色通过，滤除其他颜色的光线，得到的图像信息将通过A/D变换后逐行输出。由于目前集成电路的限制，CMOS图像传感器的原始输出是每个像素只包含R、G和B三种颜色分量中的一种颜色分量的马赛克图像。为了获得另外2种颜色分量的信息以形成完整的全彩色图像，Bayer格式的图像传感器在图像重建过程中通常需要进行颜色插值处理，从相邻的像素中估计不足的颜色分量信息[9]。但是，插值处理的图像数据量为未插值的3倍，这对于能量受限、带宽受限的无线传输系统的挑战是非常大的。研究表明，直接使用原始的彩色滤波阵列格式进行压缩和解压缩，而后再进行插值的方法可以在保证高图像质量的前提下极大降低传输的数据量[10-11]。因此，本研究所设计实现的图像压缩算法针对的是未插值的原始Bayer图像数据。

然而，未插值的原始Bayer彩色滤波阵列排布中，相邻像素相关性较小导致像素空间出现了明显的高频分量。无论是基于预测的压缩方法即差分脉冲编码调制(differential pulse code modulation，DPCM)，还是基于变换的压缩方法即离散小波变换(discrete wavelet transform，DWT)，均会因此而极大降低图像的压缩比。为了消除由于不同颜色分量交替排列给压缩带来的不利影响，本研究采用了专门设计的图像滤波算法，作为JPEG-LS图像压缩算法的预处理步骤，图像滤波算法直接在R、G和B三种颜色分量空间对图像数据进行变换和均值滤波，极大地抑制了图像空间的高频分量，在保证图像质量的同时显著提高了图像压缩性能。针对原始Bayer彩色滤波阵列图像设计的滤波算法分为两步。

1.1.1 图像变换

图像变换将B、G和R三种颜色分量分隔排列为G 和BR两种颜色矩阵，在这一步骤中，B和R被视为同一种颜色分量，其计算为公式1：

式中(x，y)表示当前像素的行列坐标，而(X，Y)表示完成图像变换后当前像素的行列坐标；N表示图像的宽度。

1.1.2 均值滤波

在完成图像变换后，当前像素与水平和垂直两个方向上的相邻像素进行均值滤波计算(公式2)：

式中(P)表示当前像素的原始值，(P')表示当前像素经过滤波后的值。

滤波算法中将B分量和R分量视为同一颜色分量，将三种颜色分量简化为两种颜色分量进行排布后再进行处理。从图像压缩性能上考虑，两种颜色分量的处理方法虽然比不上三种颜色分量分别压缩的方法，但如果考虑到所消耗的硬件开销和处理时间，两种颜色分量的滤波方法将更有益于VLSI的硬件实现。因为图像滤波后的图像阵列按照与图像传感器相同的方式逐行地送入JPEG-LS编码器进行压缩，无需对其中的某一颜色分量进行完全存储，这使得滤波过程只需要缓存两行图像数据即可完成滤波过程，极大减少了对存储器的要求，同时可与图像传感器同步的方式完成实时处理，提高了计算效率。

1.2 标准JPEG-LS图像压缩算法

JPEG-LS采用了基于像素预测的图像压缩方法的传统结构，由像素预测、图像上下文建模、编码及嵌入式字符集扩展4个部分组成，如图2所示。

JPEG-LS中的像素预测和上下文建模部分以图1a所示的像素邻域为模板。图中的x为当前像素，a，b，c，d为相邻像素。

1.2.1 像素预测

预测将根据已知的像素邻域的值来预测下一像素的值。JPEG-LS算法的预测值由固定预测器(中部边沿检测器，即MED)和自适应预测器累加产生。

图2 JPEG-LS算法框图

自适应预测器(也称偏移补偿)是基于图像上下文模型的预测器，用于补偿固定预测器所具有的小数偏移量。

1.2.2 图像上下文建模

通过对大量样本的分析，固定预测器的预测值与真实值之间的误差符合中心为0的双边几何分布。然而在考虑了基于特定图像上下文的条件之后，这种双边几何分布的中心一般不为0，而相对于0产生一定的偏移量。JPEG-LS算法将根据对图像上下文建立的模型进行统计，根据统计的结果对偏移量作出补偿，使最终的预测值与真实值之间的误差更小，使得编码的长度更短，图像的压缩比更高。

JPEG-LS算法采用基于像素邻域梯度的图像上下文建模方法。像素邻域梯度为g1、g2和g3，其计算为公式4：

局部梯度包含了像素邻域的平坦程度的信息。每个gj，j=1,2,3的值将被量化为一组等概率区间，这些区间是正负对称且连续相连的。8比特的图像数据的默认量化区间为{0}，±{1，2}，±{3，4，5，6}，±{7，8，…,20}，±{e|e≥21}。量化后的图像上下文(q1，q2，q3)的正负对称集合是等概率的，将等概率集合合并后(q1，q2，q3)可以映射为365种图像上下文模型。量化后的图像上下文模型即可为自适应预测器所用。

1.2.3 编码器

烂眼阿根却笑得更灿烂了，好像她们的骂声很补很受用似的，他朝她们叫道：“像癞阿小这种造头——还没有长成熟的——鸭子，清汤寡水的，有啥个吃头？姜还是老的辣，你们吃过就知道那味道……”

为了对符合双边几何分布的预测残差进行编码，JPEG-LS使用了有限长度的Golomb编码器。Golomb编码器最先用于游长编码，JPEG-LS算法中的Golomb编码器使用了二次幂的特殊除数(m=2k)进行编码，有利于硬件实现，简化了编码器的复杂度。同时，二次幂的特殊除数的Golomb编码器对于双边几何分布是优化的，也称为Golomb-Rice编码器。对于任意给定的数y，其编码分为商和余数两个部分。商 y/2k采用一元编码，而余数则直接使用y的最低k特表示，商和余数之间用一比特进行分隔，这样y的编码长度为k+1+ y/2k。

此外，JPEG-LS算法使用了自适应的k参数选取策略来改进编码效率，这种自适应的算法也是基于图像上下文模型的，其预测残差幅度之和A、预测残差的个数N、预测累计残差B以及预测偏移补偿C将对于每种图像上下文模型进行统计。

2 胶囊内窥镜系统图像压缩器硬件实现

由于胶囊内窥镜工作环境限制，其图像压缩模块必须满足低功耗、小面积的性能要求。另一方面，胶囊内窥镜系统的数据吞吐率受限于无线射频收发机的数据率(200～800 kbps)，JPEG-LS数据传输速率要求不高[12]。JPEG-LS算法分为3种不同的模式，即正常模式、游程模式和游程中断模式[13]。这3种模式下的算法复杂难度为正常模式＞游程中断模式＞游程模式。

本研究设计的压缩器硬件结构可分为图像滤波器和JPEG-LS编码器2个部分。为了复用片上的行缓存SRAM，JPEG-LS算法中生成模板的部分与滤波算法进行了合并。彩色滤波阵列格式的原始图像数据经过滤波模块处理后，生成了图1b所示的像素邻域。JPEG-LS编码器的模式判决模块将根据像素邻域来判断图像的平坦程度，并依此选择3条流水线中的一条来进行编码。3条并行的流水线，即正常模式流水线、游程中断模式流水线和游程模式流水线，分别对正常模式、游程模式和游程中断模式的编码过程进行处理(如图3所示)。

图3 无损图像压缩模块VLSI结构图

使用3条独立的流水线分别实现不同模式的编码过程，可以使编码过程以最低的硬件资源和能量消耗来完成计算。例如在计算复杂度最低的游程模式下，当前像素使用简单的游程模式流水线进行编码，此时另外2条流水线将停止工作。游程模式流水线以非常简单的逻辑单元和翻转次数完成编码过程，避免了另外2条流水线不必要的能量消耗，对JPEG-LS编码器数据通路的功耗仿真的结果不包括存储单元的功耗(如图4所示)。

图4 不同模式下数据通路功耗仿真结果示图

图4显示对3行图像数据进行编码时数据通路的功耗，前2行图像数据平坦，使用了游程模式的游程模式流水线进行编码，功耗仅为12 μW。第3行图像数据使用了正常模式的正常模式流水线进行编码，功耗122 μW，为游程模式流水线的10倍。因此，对于平坦度较高的图像，大量的像素被游程模式流水线处理，图像压缩模块消耗的能量就可以极大降低。

JPEG-LS数据通路的流水线具体设计。3条流水线均为3级，每级分配4个时钟周期，使用每级4个时钟周期虽然降低了数据通路的吞吐率，但却有利于减少消耗的硬件资源，如图5所示。

图5 JPEG-LS编码器流水线数据通路框图

(1)每级4个时钟周期的分配使流水线可以更加广泛地使用级内的资源复用。例如，图像局部梯度计算D1=d-b、D2=b-c和D3=c-a可以使用同一减法器在4个时钟周期内完成，而每级1个时钟周期则需要3个减法器才能完成。

(2)每级4个时钟周期的分配可以对上下文参数SRAM的访问被安排在同一流水线级内完成，避免不同流水线级对上下文参数SRAM同时读写，从而避免使用双倍尺寸的上下文参数SRAM。

(3)每级4个时钟周期的分配使得行缓存SRAM可以使用单端口的SRAM来实现，而无需使用面积较大的双端口SRAM，即节省了芯片的面积。

除了流水线级内的资源复用，JPEG-LS的数据通路也采用了流水线之间的资源复用。因为正常模式流水线和游程中断模式流水线均采用Golomb编码器编码。因此2条流水线第2级和第3级分别共享了Golomb参数k计算和Golomb编码器的电路，如图5中深灰色的模块所示。

Golomb参数k决定了Golomb的编码长度k+1+y/2k。k的软件计算方式为公式5：

式中N为图像上下文模型出现的次数，A为预测残差幅度的累计之和。

在以往的硬件实现中，为了在一个时钟周期内得出k值，需要大量的比较器对所有可能的k值进行比较，这无疑消耗了大量的硬件资源和不必要的计算。为了简化计算过程，本研究提出了新的k值计算方法，其为公式6：

新的电路实现极大的使用了对数编码器来减少比较器的使用，使得最终的等效门数相较于原来减少了45%。

在对图像压缩器进行专门的测试中，在20 MHz的时钟频率和0.95 V的电源电压下，以15 fps的速率对VGA格式的Bayer图像进行压缩时，图像压缩模块的功耗仅为0.8 mW，极为适合胶囊内窥镜系统的特殊应用环境。同时，图像的传输速率可达12帧/s，平均每例记录图像63761帧，下载数据长度约为8.5 h，可高效完成图像处理及传输。

3 结语

本研究提出的JPEG-LS图像数据压缩模块，可将图像传感器采集到的图像数据进行无损和准无损压缩，能够满足胶囊内窥镜低功耗下的图像记录要求，且可提供1/3的压缩比，有效提高系统数据传输效率，充分满足医生通过胶囊内窥镜对消化道疾病的临床监测与诊断需求。

[1]冯桂建,刘玉兰.胶囊式内窥镜的发展和应用[J].中国消化内镜,2007,1(2):16-21.

[2]周丁华,闫涛,吕伟,等.HT型胶囊式内窥镜在消化道隐匿性出血中的诊断价值[J].中华损伤与修复杂志, 2012,7(5):538-541．

[3]周丁华,闫涛,吕伟,等.HT型胶囊式内窥镜检查对人体消化道动力学的影响[J].中华损伤与修复杂志, 2012,7(6):636-637．

[4]张伟,谢德明.胶囊内镜的技术进展及临床应用[J].生物医学工程与临床,2012,9,12(5):499-503.

[5]覃凤清.数字图像技术压缩综述[J].宜宾学院学报, 2006,7(6):88-90.

[6]田勇,丁学君.数字图像压缩技术的研究及进展[J].装备制造技术,2007(4):72-75.

[7]周文光,王春飞,毛坤剑等.一种新型内窥镜视频系统的设计[J].中国医学装备,2015,12(3):30-33.

[8]B.E.Bayer.Color image array[P].U.S.Patent: No.3917065,1976.

[9]华磊.基于Bayer图像数字图像传感器颜色插值及降噪的算法研究[D].杭州:浙江大学信电系,2011.

[10]Toi T,Ohita M.A subband coding techinque for image compression in single CCD cameras with Bayer color filter arrays[J].IEEE Trans.Consumer Electronics,1999,45(1):176-180.

[11]Chin Chye Koh,Jayanta Mukherjee,Sanjit K.Mitra.New efficient methods of image compression in digital cameras with color filter array[J].IEEE Trans.Consumer Electronics,2003, 49(4):1448-1456.

[12]王磊.面向普适医疗的低功耗医学集成电路芯片设计[J].中国医疗器械信息,2010,16(6):21-24.

[13]郝勇铮.基于JPEG-LS算法的星载图像压缩系统设计[D].西安:西安电子科技大学通信与信息系统专业, 2011.

The design and realization of image compression methodology of capsule endoscope

ZHOU Ding-hua, JIANG Han-jun, WANG Yue-juan, et al// China Medical Equipment,2016,13(2):5-9.

Objective: To design one kind of image system with high efficiency scheme of image compression, storage and transmission to meet the needs of high performance endoscope.Methods: By introducing the shielding function which owns different threshold at different decomposition scales and the optimized coding scheme based on statistical analysis.And then we validated the endoscope by professional tests.Results: Experiments and clinical applications shown this capsule endoscope realized the features of 12 fps frame rate even for 480×480 images, DOF 0～50 mm.It realized high efficiency, high fidelity compression and high speed transmission of the image.Conclusion: The energy consumption of the image storage system had been greatly reduced through the design, and the application demands of image transmission and reduction had been solved.The capsule endoscope can well meet the requirements from system monitoring and diagnosis.

Capsule endoscope; Image compression algorithm; JPEG-LS encoder; Low-power

10.3969/J.ISSN.1672-8270.2016.02.002

国家863计划资助项目(2008AA0107102)“基于极低功耗SoC芯片的消化道无线检测产品开发-消化道无线检测产品临床检测”；军队“十一五”杰出人才课题(06J003)“消化道微型仿生机器人优化及其体内定位方法的研究”

zhoudh@sina.com

1672-8270(2016)02-0005-05

R197.324

A

2015-11-09