一种基于通用软硬件的医学立体多媒体直播和录播制作系统的构建

刘 惺 王晓晟 王慷慨 汉建忠 周鸣镝(．中南大学基础医学院 长沙 4007;．长沙上策文化传播有限公司 长沙 4000)

引言:人类具有双眼双耳以及大脑处理后形成的立体视觉和听觉，极大帮助了人类认识和改造世界。基础医学教学领域虽然越来越多利用多媒体以及虚拟仿真技术等辅助手段，完成一些更适合的内容，但绝大部分多媒体，尤其是视觉部分，并不是立体的，给某些需要学生得到视觉深度信息的学习留下不少遗憾。在当下媒体及虚拟仿真技术发展迅猛的新时代，发达国家基础医学教学中已经广泛采用了立体影像技术，我们也很有必要与时俱进，研发并使用一些最新的多媒体技术手段提升基础医学教学品质。

本文就介绍一套基于市场上性价比极高的计算机和摄录制播通用软硬件，构建的一套立体视音频以及VR/AR/MR内容创建系统，用于基础医学在线流媒体直播或更高品质录播教学，提高教学效果。本系统绝大部分采用了免费自由开源操作系统和应用软件，制作流程上也有非常多的原创性，从一年多的应用来看，达到了世界先进水平。

1 系统功能目标

1)实拍样本及操作的立体影像;2)实拍教师讲解的影像和声音;

3)利用色键抠像处理后的多角度高画质实拍照片上传云端智能自动化处理，得到人类或其他生物器官标本三维建模，并在本系统实时生成可用各种输入装置操作互动的立体影像;

4)实拍或者计算机生成的三维立体影像与实拍场景或者本系统计算机生成的虚拟场景进行合成，创建虚拟现实VR、增强现实AR和混合现实MR内容。

5)以上实拍和计算机生成的内容可以利用本系统实现流媒体直播或后期制作为更精致的课件。

2 系统外观

3 硬件

3．1实拍音视频采集部分

(1)带麦克风的USB高质量摄像头。摄像头可以说是本项目的核心部件之一，加上实拍立体影像的特殊要求，选型非常重要。

用于常规内容拍摄的传统立体摄像系统并不适合，因为它们的尺寸太大，瞳距通常最小也是60mm左右，模拟的是正常人类观察日常世界。而立体拍摄小型动物、小型植物以及人体器官解剖属于比较微观场景的微距摄影，难点在于合适的摄像头组件应尽可能小，才能组成瞳距足够小的立体摄像头对，满足我们的拍摄需求。

对于立体拍摄而言，选用的摄像头要具备良好的微距成像能力，景深宜深不宜浅，可采用软件锁定聚焦、白平衡、曝光量等光学和视频参数，防止固定距离定焦拍摄时各种自动参数造成的误动作。

另外，此类摄像头最好带有高品质的麦克风，采用USB2．0或3．0接口连接计算机，不需要额外采购视音频采集卡，大大降低系统总造价和使用安装难度。

市场上符合我们这些特殊需求，且性价比高的摄像头并不多见，到发稿时止，只有极少数几款。

本项目入门级可选微软(Microsoft)LifeCam Studio梦剧场精英版USB摄像头。

进阶级可选4KUSB摄像头，但目前市场上没有合适的外形和尺寸组微距拍摄立体对。

本系统选用了三只同款摄像头，一只用来摄录主讲教师，另外两只用来组成立体拍摄对。所选摄像头采用定焦镜头，为了看清被摄物体细节，拍摄距离最近可以凑近物体10厘米左右，我们选用的这款微软全高清摄像头，最小间距可以减小到人眼间距的2/3左右，所以，拍摄平均20厘米远的物体最终立体成像效果约等于人眼观察30厘米远的物体，观众还不至于太难受。如果还想进一步缩小拍摄距离，还要在市场上寻找体积更小方便组建更小左右视差间距，但摄像头太小，一般光学和传感器性能也会减弱，这是有些矛盾的。

(2)摄像头及被拍摄物体承载。这套系统摄录的另一个难点在于画面的稳定性。因为属于微距拍摄，被摄物体和摄像头之间不需要的抖动越小越好，否则会很明显，造成观看者不适，甚至头晕呕吐。为此，我们选用了价廉物美对环境震动有一定阻尼能力的悬臂麦克风减震支架安装摄像头组件;一些被摄物体的相对运动则可以依靠现有的慢速电动转盘、电动滑轨、电动升降台等得到，这类设备既可以在市场上购买合适的现成产品，又可以在教学中根据需要自己开发研制。当然，有些操作用教师双手进行也是必须和自然的，后期可视情况用防抖插件减少不需要的抖动。

(3)立体高像素拍摄手机。具有双摄像头立体视音频及图片拍摄，甚至带有裸眼3D显示屏的手机曾经在市场上昙花一现，可惜对医学教学用途来说，这类早期产品像素太低不具备实用价值。最近的趋势是厂商重新考虑用双镜头立体相机实现景深计算和AR应用，或许未来也会重新出现高像素高画质的立体拍摄功能甚至有附带自动校正的APP。一旦手机能作为本系统的素材采集设备，必然大大降低操作难度、提高普及性。

(4)小间距机器人视觉用的USB立体摄像头模块。目前市场上此类模块摄像头中心间距基本都是60mm规格，不适合我们的微距立体拍摄，像素也达不到要求，但未来很可能出现符合我们需求的产品。

(5)抠像幕布。被拍摄物体:标本或教师等，都可以用方便抠像的蓝或绿纯色背景。拍摄教师时，抠像幕布和LED灯放在教师身后合适位置，使之充满屏幕(万一不能充满，那就要调整录像采集软件或者后期制作软件裁剪掉穿帮部分)，背景光越匀越好;拍其他物体需要抠像时，可以把幕布折叠缩小后放在物体下方或后方。本系统可以把被拍摄物体实时抠像合成进实拍或虚拟场景，也可以后期更高质量抠像合成进实拍或虚拟场景，为节目形式的丰富性提供了更多可能。

(6)LED照明。本项目的照明分为，被摄主体照明，抠像背景照明，采用4根LED专业支架长光源，节能，不占空间，使用方便，能很好兼顾多种应用不同的照明需求。偶尔需要的某些特殊照明可以用教师的手机提供。

(7)普通手机。在本项目中教师可以利用合适的私人手机用于拍摄云端智能自动三维建模所需的多角度高品质照片，像素最好高于800万，能记录RAW格式更好。当然拍摄完毕后，教师需要用数据线或者无线联网方式把拍摄的素材传到本系统主机中用合适的应用软件处理，再上传到云服务网站。手机有时候还提供特殊照明和随时随地补录解说。

3．2计算机主机部分。由于本系统计算机主机要接入大量外设，尤其是USB设备，试验表明，普通USB hub不能实现多摄像头同时使用，所以我们的计算机主机选用台式机，没有采用笔记本电脑。

(1)CPU。目前在美国未对中国禁售民用高端CPU的情况下，合适的CPU实际上有这么几家

美国:INTEL、AMD(都是X86架构)

国产:龙芯(MIPS架构)、飞腾(ARM架构)等等

我们推荐使用最新款intel桌面版高端CPU，在本项目应用中有两大独特优势:

1)AVX指令集:首创于INTEL的AVX指令集比后来者AMD有明显优势更高效处理本项目的多媒体应用，如果本系统今后是以实拍内容制作为主，INTEL高端处理器胜出。如果是以BLENDER等三维动画软件建模渲染生成内容为主，AMD高端处理器有优势［1］。

2)核芯显卡QSV:在WINDOWS和MACOS系统，应用软件可以利用intel QSV硬件编码H264和H265视频，速度远远超过开源免费的X264软件编码(但低码率编码质量，X264目前还有一定优势)或者编码质量远远超过同码率的NVIDIA、AMD类似硬件编码［2］。

很可惜国产CPU目前在此应用项目性能落后十年左右，基本上达不到多路实时全高清采集和快速后期制作的要求，只能等今后性能追上来后才能使用。

(2)GPU。目前在美国未对中国禁售民用GPU的情况下，适合本系统的GPU实际上有这么三家，

NVIDIA、AMD、INTEL。

NVIDIA GPU在本项目中具有独特优势:

当前，在D3D，open GL实时三维动画领域，NVIDIA的GPU有性能功耗优势;其CUDA通用计算功能也很受一些软件开发者欢迎;在视频处理所需的单精度浮点运算领域，以及NVIDIA RTX?实时光线追踪渲染电影级品质的画面，NVIDIA也具有一定优势。所以我们在系统中选配当前市场上性价比更高的中端NVIDIA独立显卡完成所需功能［3］。

(3)主板。如果选定INTEL带核显的CPU，我们这个项目特殊的要求是主板必须具备核显4K显示输出接口，用来激活核显的QSV以及外接4K电视做监视器。

(4)内存。此项目需要的内存是8GB起步，为了核显性能，发挥双通道内存的速度优势，我们可以使用偶数根同容量的内存条并按照主板说明书的要求插在正确的内存槽上。

(5)SSD。系统、应用软件以及一些缓存临时文件等随机读写数据使用固态盘存放能极大提高用户的使用体验，本项目也不例外，由于我们安装的软件少而精，总共128GB的容量就够了，其中WINDOWS系统+软件64GB即可;深度DEEPIN LINUX系统+软件32GB即可;剩下的空间可以用作系统的交换分区和EFI系统引导分区(采用GUID分区表)。

(6)HDD。本项目实拍采集的数据以及制作过程中产生的大量顺序读写数据最合适的存储介质仍然是传统的机械硬盘，最好选用目前口碑比较好的日立企业级硬盘。由于机械盘磁头在盘片外圈读写速度要高于内圈，我们可以把机械数据盘合理分区，满足摄录、后期制作、数据存档对数据吞吐速度不同的需求。具体来说，摄录原始素材和后期制作过程中产生的高码率中间数据对磁盘吞吐要求高，我们可以把这些数据读写安排在硬盘外圈分区;高画质成品等数据存放在硬盘中间区域分区，而内圈分区，我们存放不太常用的成品和归档压缩包。

(7)CPU散热器。本系统在工作时，CPU负荷很重，如果不注意散热，容易导致降频限速，造成摄录、直播丢帧或者后期制作操作卡顿，成品导出变慢，我们特意给CPU加装安全成熟的六热管风冷散热器，能满足极限压力下CPU核心温度不超过90℃(INTELBURNTEST极限+AIDA64监控实测为75℃左右)，实际散热效果不亚于普通水冷，同时没有水冷天长日久漏液和噪声大影响老师讲解录音的问题。

(8)机箱电源．本系统机箱在满足审美基础上，能兼容高性能散热即可，电源总功率预算450W以上。

3．3人机交互部分

(1)无线键鼠。在摄录时老师可能要进行一些操作，加上本机主板USB口利用率高，我们推荐只占用一个USB口的接收器搞定的无线键鼠。

(2)显示器。本项目采用双台4K显示器，一台4K27寸做软件界面显示器，一台4K－45寸做拍摄监视器。这两台显示器颜色还原性尽可能满足专业需求。

(3)立体观屏镜。这种简单的光学装置能把任何大显示屏变成立体显示设备，用于本项目拍摄和后期制作时立体调参预览用。

(4)监听耳机。本系统中电视机带有音箱，可提供外放音频监听，为避免干扰办公室其他工作，也可以用一般的耳机监听，没有特殊要求。

(5)手机。在本项目中可以利用教师或学生私人手机当作头显显示屏，像素最好达到2160P UHD 4K，最低不要低于1080P全高清FHD(当然，这个像素当头显显示器已经很粗糙了)。

(6)带蓝牙控制器器的中档手机VR头盔。这种简单的装置能把手机变成立体VR/AR/MR终端设备，利用手机自带传感器和蓝牙控制器还能完成一些简单的互动。在目前算是一种廉价利于普及的附件，即使VR/AR/MR体验差点，作为沉浸感比较强的立体视音频播放设备还是可以的。

3．4硬件安装重点和特殊点。

0)CPU散热器以及导热硅脂一定要确保全装稳定可靠，防止使用时CPU过热降速。

1)为了充分释放核显在本项目中的INTEL QSV编码解码功能和性能，内存安装时一定要插对槽，确保工作于双通道模式。

2)独立显卡一定要插在主板说明书推荐的槽，确保独显性能完全释放。

3)必须定期检查主板官方有无bios固件更新，并升级到最新版，及时修复主板功能、安全和性能BUG。

4)所有外设接口优化插在最合适的接口，尤其是USB设备

5)主板BIOS参数一般保持默认即可，由于我们还会装LINUX系统，在安装前记得把这里改成其他操作系统(不同型号的主板显示可能有差别)。

4 软件

原则上尽量使用免费开源的操作系统和应用软件，但由于目前闭源商业软件在功能性能上有明显优势，我们还是采用了一套高性价比的商业软件和免费开源软件混合解决方案。如果今后如果硬件采用国产芯片，应用软件生态也会转向以开源为主，我们也有开源免费方案备用。在系统开机时，用户可以选择进入不同的操作系统。

4．1操作系统。我们选配的硬件实际上可以安装多种操作系统，例如商业收费的微软的视窗WINDOWS系列、苹果的MACOS系列、开源免费的各种LINUX发行版等，针对我们对功能和性能需求，我们决定选择美国微软视窗WINDOWS 10 64位教育版(更新到最新状态)［4］作为主用;它是目前最能充分发挥本机硬件功能和性能的操作系统，应用软件也最为丰富;中国武汉深度DEEPIN LINUX 64位桌面版(更新到最新状态)［5］作为备用，深度系统还能运行在龙芯等国产CPU上，虽然暂时性能落后，但够用就行，在中美贸易战、技术战难以避免的国际环境下，今后潜力很大。

4．2应用软件。未注明的都是免费或自由开源软件，两个操作系统基本采用相同的主要软件完成所需功能，所以使用者一经掌握，可以实现跨平台平稳过渡。

(1)WINDOWS 10 64bit简体中文教育版(商业闭源免费版)环境下的应用软件

系统硬件检测类:INTELBURNTEST，AIDA64(商业闭源免费版)，AS_SSD_Benchmark

办公套件:WPS(商业闭源免费版)

PDF阅读:福昕阅读器(商业闭源免费版)

视频音频录播直播:OBS

实拍转3D模型云服务:http://www．3dcloud．cn/(商业闭源免费)

实时三维人体快速建模:MakeHuman，Complete Anatomy(商业闭源免费+内购)

实时三维动画/VR制作:BLENDER，BLUFFTITLER(商业闭源低价)

视音频剪辑与后期:KDENLIVE，OPENSHOT，Audacity，Ardour，

BMD DAVINCI RESOLVE(商业闭源免费版)，VEGAS PRO(商业闭源低价)GRASSVALLY HQX CODECS(商业闭源免费)

矢量绘图:INKSCAPE

平面绘图:KRITA

图像处理:GIMP

特效合成:NATRON

帧率插补:SVP

媒体转换:HANDBRAKE

媒体播放:VLC

网络下载:迅雷极速版(商业闭源免费版)

系统维护:DISM++(非商业闭源免费)

文件压缩归档:7－zip

云存储备份:百度网盘(商业闭源订阅)

即时通讯:TIM(商业闭源免费)，WECHAT(商业闭源免费)

远程控制:teamviewer(商业闭源免费版)

特别说明:SmoothVideo Project(SVP)［6］用在此处是因为市售摄像头本身可能不具备FHD或UHD高帧率拍摄能力，所以我们使用SVP将成品视频转换为60+fps(甚至更高)并在视频播放器中实时完成，减少立体和VR视频带来的观看不适感(某些手机播放器内部也带有手机硬件插值倍帧功能)。

(2)深度DEEPIN LINUX 64bit桌面版环境下的应用软件［7］

系统硬件检测类:I－Nex

硬件驱动:深度显卡驱动管理器

办公套件:WPS(商业闭源免费版)

PDF阅读:福昕阅读器(商业闭源免费版)

视频音频录播直播:OBS

实拍转3D模型云服务:http://www．3dcloud．cn/(商业闭源免费)

实时三维人体快速建模:MakeHuman

实时三维动画/VR制作:BLENDER

视音频剪辑与后期:KDENLIVE，OPENSHOT，Audacity，Ardour

矢量绘图:INKSCAPE

平面绘图:KRITA

图像处理:GIMP

特效合成:NATRON

帧率插补:SVP

媒体转换:HANDBRAKE

媒体播放:VLC

网络下载:迅雷极速版(商业闭源免费版)

系统维护:深度系统修复工具深度软件包管理器深度备份还原工具新立得软件包管理器

文件压缩归档:7－zip

云存储备份:百度网盘(商业闭源订阅)

即时通讯:TIM(商业闭源免费)，WECHAT(商业闭源免费)

远程控制:teamviewer(商业闭源免费版)

4．3软件安装重点。

1)必须从各软件开发者官网下载可信版本，并进行安装包HASH值校验，确保下载的操作系统和应用软件未经篡改或损坏。用于本项目工作的系统不要安装任何多余的应用软件，以免影响工作稳定性，如果实在要安装，我们可以用多系统多引导进入实验系统解决。

2)全新安装操作系统，先装WINDOWS，再装DEEPIN，并注意正确设置多系统引导，系统安装完毕后联网升级到最新状态，然后安装硬件官网最新驱动，并把参数设置为适合本项目的状态(讲在后续文章中给出与默认设置不同的参数截图)。

3)安装可信来源的应用软件后，并逐一打开测试，针对本项目优化参数设置(后续文章)。

4)在做好系统备份能回滚的前提下，保持系统和应用软件及时更新。

5 总结

到此为止，这种基于通用软硬件的立体视频音频基础医学多媒体直播及录播课件制作系统就搭建完成了，低成本、高效。更重要的工作，是我们的教师和校企合作公司的技术制作人员，用这套系统生产教学所需的丰富内容。在一年多的生产实践过程中，我们积累了很多自主研发的流程和技巧，将陆续结合具体项目把制作经验分享给大家。