一种基于FPGA的空间自动化显微成像系统

董栋 张涛 郑伟波

摘  要：开展空间生命科学包括细胞培养等相关试验，进而从细胞水平乃至于分子水平研究空间特殊环境给人体和各种动植物生物组织带来的复杂影响，已经成为空间生命科学研究的重要目的之一。为满足对细胞生长状态以及运动情况等的全过程实时动态监测的要求，具备空间搭载条件的可见光显微成像系统也是开展空间生命科学试验活动的必备工具。针对上述问题，文章叙述一种基于FPGA的可应用于空间站使用的自动化显微成像装置，具备自动观察、自动对焦、传输图像与视频数据功能，可完成原位生物细胞样品的生长、发育、演化等观察任务并进行数据记录与分析，承担了空间站上细胞、蛋白质等样品显微观察的任务，并已成功应用于空间站核心舱中。

关键词：空间站；FPGA；自动化显微成像；生命科学

中图分类号：TP391.4；R318.6 文献标识码：A 文章编号：2096-4706（2023）24-0162-04

A Space Automatic Microimaging System Based on FPGA

DONG Dong， ZHANG Tao， ZHENG Weibo

（Shanghai Institute of Technical Physics Chinese Academy of Sciences， Shanghai  200083， China）

Abstract： Conducting related experiments in space life sciences， including cell culture， and studying the complex effects of special space environments on human bodies and various animal and plant biological tissues at both the cellular and molecular levels has become one of the important objectives of space life sciences research. To meet the requirements of real-time dynamic monitoring of the entire process of cell growth status and movement throughout， a visible light microimaging system with space carrying conditions is also an essential tool for conducting space life sciences experiments. In view of above problems， this paper describes an automatic microimaging device based on FPGA which can be used in space station. It has the functions of automatic observation， automatic focus， image and video data transmission. It can complete the observation task of growth， development， evolution of situ biological cell samples， and conduct data recording and analysis. It has undertaken the task of microscopic observation of cells， proteins and other samples on the space station， and has been successfully applied in the core module of the space station.

Keywords： space station; FPGA; automatic microimaging; life sciences

0  引  言

空間生命科学实验中对于实验数据的获取，样品的实时分析主要依靠空间生命科学仪器完成，而空间生命实验用显微成像系统作为实验结果记录和分析的主要可视化工具，是空间生命科学仪器的主要组成部分[1，2]。随着中国空间站的发射成功，可以开展新的更加复杂的空间生命科学实验项目。同时对于空间显微成像系统也有了新的发展要求。

对于在空间站中开展的生物学实验，由于其特殊的场所限制，对于显微观察设备的要求与地面实验室有着很大区别[3]。显微成像目标特性主要可以概括为以下几个方面：

1）目标为活体目标，不能使用地面显微成像使用的切片、固定等方案。目标需要有适宜的活体组织生活的环境要求，为此要求考虑合适的培养方法和观察窗口。

2）目标呈空间三维分布，并且在不断生长、变化，即无法设定一个固定的观察点进行观察，必须根据实验进程来实时判断、调整物像关系，从而获得目标的清晰图像。

3）目标尺度较小（从微米量级到毫米量级），需要有较大的放大倍率和较高的分辨率。

4）培养单元具有一定的容器壁厚和深度，为了确保在一定范围内观察到目标，要求显微成像系统有合适的工作距。

5）目标处于无人操作的环境中，目标捕获、成像和传输等操作要求全自动完成。

空间显微成像系统对功能要求包括以下几个方面：

1）照明光源应波长在可见光范围内。

2）系统能够进行自动对焦并自动捕获清晰目标图像。

3）系统要有一定的分辨率、放大倍率和足够的工作距离。

4）系统能够进行多个工位的成像观察。

5）系统可以完全自主工作并可按照指令进行人为干预[4]。

基于以上要求本文提出了一种使用FPGA芯片为主控制器的空间显微观察装置。具备在近地轨道空间条件下使用的能力，具备自动对待观察样本对焦、拍照、视频上传等功能；并可接收航天员控制进行特定条件的科学实验观察。

1  设计原理

1.1  总体方案

使用FPGA作为主芯片，执行指令接收、实验流程控制、图像探测器驱动、电机控制、实验数据传输等功能。整个显微观察系统框图如图1所示。

显微成像系统结构包括相机主结构、光学镜头、细胞培养单元、扫描电机和工位电机等部分。

相机主结构内承载显微成像系统主要电子学部分，包括图像探测器、FPGA主控单元、数据传输单元和电源部分等。

光学镜头承担了光学放大功能，可依据任务要求更换为10倍、20倍、40倍光学放大倍数。

细胞培养单元负责被观察细胞样本的培养和固定功能。

扫描电机承担了显微成像系统扫描对焦移动功能，工位电机承担了显微成像装置在不同观察工位移动观察功能。

图2为显微成像系统设计图。在细胞培养装置上层结构中安装了两部显微成像装置，可同时观察两个细胞培养单元中的细胞样本。显微成像装置在细胞培养装置中的位置如图3所示。

整个显微成像系统的工作流程为：

1）接收到实验指令后，主芯片按照实验流程要求对探测器进行配置，使光学探测器工作于输出图像模式或视频模式。

2）首先控制工位电机，将培养单元引导至待观察位置，并打开照明装置。

3）控制扫描电机到达指定位置。如有自动扫描流程，则在扫描电机的引导下，从后至前扫描600步，每次扫描都对得到的图像数据进行特征值解算，最后在最大特征值位置停止，认为这是最优工位，并开启图像探测器开始拍摄图像或视频；如没油自动扫描流程，则在指定工位停止，并开启图像探测器，开始进行图像或视频数据采集。

4）将图像探测器传输的显微图像数据通过数据传输通道传输出去。

显微成像系统电子学硬件系统架构框图如图4所示。

主控制芯片需要负责完成指令通道的指令收发与解析、探测器的配置与数据驱动、扫描电机与工位电机的驱动、数据传输通道的驱动。其中，指令通道使用485串口通信方案，使用19 200波特率传输通信数据；光学探测器使用MT9P031型号的CMOS光学探测器，具有2 592×1 944分辨率，可以进行图像和视频传输；扫描和工位电机使用单相步进电机，采用半拍步进方案是可以达到2.5 μm步进精度；数据传输通道，视频数据使用camera-link数据传输方案，图像数据使用LVDS数据传输方案。

由于整个显微成像装置对体积和重量的严格要求，不能使用单独的芯片驱动探测器和电机，所有的驱动和数据流控制都必须由控制芯片单独完成，所以主控制器芯片选择FPGA方案，所选型号为ACTEL公司的APA600。这款芯片已经用于多次航天飞行并成功完成相关任务，具有抗辐照性能，片內FLASH程序存储器，可在-55°～125°条件下正常工作，是当前任务的较好选择。

显微成像系统的软件结构框图如图5所示。主流程模块负责调配各个模块工作状态和参数，并执行自动观察工作。子模块包括指令接收与解析模块、探测器寄存器配置模块、探测器数据接收模块、自动对焦模块、电机驱动模块（包括扫描和工位电机的驱动）、图像数据发送模块等。

1.2  子模块方案

1.2.1  指令接收与解析模块

显微成像系统与外部的指令通信采用485串口通信模式，通信速率为19 200波特率，信道模式为1位起始位，8位数据位，1位奇校验，1位停止位。串口通信数据格式如表1所示。

ID号指当前设备分配ID号，由于在总线中可以有多台套不同设备，ID号是确认当前指令是否为主机发送至目标机的指令，如否则丢弃。

曝光时间为写入光学探测器寄存器中的参数，规定探测器像元光学积分时间。这个参数决定了图像或视频明暗程度。

参数1～3决定了显微成像系统工作模式和成像工位。

参数1～3都不为0：系统工作于手动视频模式。此时参数1为水平工位，参数2与参数3组合为扫描工位。开始工作后，系统走到指定水平和扫描工位后开始传输视频。

参数1不为0，参数2～3为0：系统工作于视频和图像混合模式。参数1为视频传输时间。在开始工作后，系统按照固有参数进行自动扫描对焦，扫描对焦完成后传出一副图像，图像传输完成后开始传输视频，视频传输时间结束后转移至下一个工位。

参数1～3都为0：系统工作于自动图像模式。在开始工作后，系统按照固有参数进行自动扫描对焦，扫描对焦完成后传出一副图像，图像传输完成后转移至下一个工位。

校验和为前5个字节相加低八位。用于校验指令是否正确，若校验和错误则丢弃指令。

显微成像系统在495通道中为从机应答式通信。当接收到指令并确认为正确指令后，将从总线上发送应答指令给主机以便主机确认已收到。

1.2.2  探测器配置模块

光学探测器使用CMOS探测器MT9P031。探测器的寄存器配置总线使用I2C协议，工作于1 Kbps通信速率。根据接收到的指令确定系统的工作模式后，配置模块在I2C总线上写入探测器工作模式、曝光时间等参数，并开启探测器。I2C总线协议如图6所示。

图6中，I2C数据线首先输入0xBA作为写地址起始字节，然后写入寄存器寻址字节（图6中为0x09），最后是两个字节参数（图6中为0x02，0x84）。一个寄存器写入完成后进行下一个寄存器写入，所有寄存器参数配置完成后探测器配置模块通知主流程模块工作已完成。主流程模块得到通知后关闭配置模块并开始下一步流程。

1.2.3  探测器数据接收模块

探测器像元采样深度为12位采样率，输出数据总线宽度为12位并行数据，1位时钟，2位同步信号。数据接收的时序如图7所示。探测器时钟信号工作于25 MHz。同步信号为帧同步信号和行同步信号，都为高有效信号。帧同步信号为高电平时开始启动当前帧图像传输；行同步信号为高电平时开始当前行数据传输。所有信号在时钟上升沿翻转。

数据接收模块使用探测器时钟对图像数据进行读取并存储至内部存储器中，图像数据读取完毕一帧后向数据发送模块发送信号，通知数据发送模块向外发送图像数据；视频数据则直接转发给数据发送模块。

1.2.4  自动对焦模块

自动对焦模块执行显微成像系统自动扫描对焦功能，执行流程图如图8所示。

自动对焦模块从前至后对待扫描图像扫描600步，每一步都进行拍照并计算图像特征值，得到600个特征值后，运行至特征值最大位置拍照并传输图像。特征值计算使用灰度差分法进行。灰度差分法是一种形式简单但是十分有效的图像清晰度评价函数，本系统使用灰度差分法可以实现快速、实时和有效计算特征值[5]。具体计算方式为：

f （x， y）为图像矩阵中坐标（x，y）的像素点灰度值大小。F（i）为扫描至第i步的图像特征值大小。取F（i）为最大值时的i值，作为最优对焦位置。

1.2.5  数据发送模块

数据发送模块在发送视频数据时，使用cameralink总线通信模式，视频传输速率为25帧/秒；在发送图像数据时，使用串口通信协议，图像传输速率为921 600波特率。

2  在轨飞行任务验证分析

系统实验中，我们采用多种细胞进行了成像实验，成像细胞尺寸在80 μm左右，培养模式采用贴壁培养。在系统实验中，我们更换了10倍、20倍、40倍成像镜头，在自动和手动模式中都得到了较为清晰的细胞图像。

显微成像装置已成功伴随细胞培养装置安装在了中国空间站天和核心舱中并在接近一年的在轨飞行实验过程中取得了大量细胞实验图像，完满完成了空间站任务要求。

细胞培养装置装载于空间站天和核心舱空间生命科学任务载荷段，航天员已使用细胞培养装置完成了大量细胞培养和分化实验，包括间充质干细胞、心肌细胞和皮肤细胞等生长、发育的培养，并得到了大量细胞观察图像，获得了重要的科学实验数据。在轨飞行期间细胞样本图像如图9所示。

3  结  论

完成了一种自动化显微成像装置，可以应用于空间细胞显微成像项目，成功于地面系统实验中得到清晰细胞图片，系统已成功应用于中国空间站核心舱生物学实验中。

参考文献：

[1] 戚发轫.载人航天技术及其发展 [J].中国工程科学，2000，2（1）：1-6.

[2] 商澎，呼延霆，杨周岐，等.中国空间生命科学的关键科学问题和发展方向 [J].中国科学：技术科学，2015，45（8）：796-808.

[3] 郑伟波，张涛，卢晋人，等.空间高等植物培养观察装置及其空间飞行实验 [J].科学技术与工程，2007（17）：4403-4407+4414.

[4] 郑行龙.空间生命科学实验原位显微成像技术研究 [D].上海：中国科学院研究生院（上海技术物理研究所），2016.

[5] 郑行龙，赵青青，郑伟波，等.空间科學实验中三维立体目标显微信息获取技术 [J].半导体光电，2016，37（2）：270-274.

作者简介：董栋（1982—），男，汉族，湖北十堰人，工程师，硕士研究生，主要研究方向：空间生命科学仪器。