遥感卫星成像的HoloLen2混合现实教学设计与实践

张 毅

(武汉大学 测绘学院,武汉 430079)

“遥感原理与应用”是一门面向测绘类专业的必修课程。主要内容包括遥感物理基础、遥感卫星平台和成像模型、遥感图像的几何和辐射处理、遥感图像解译和分类等。其中遥感卫星平台和成像模型是遥感课程教学的重要内容之一,涉及到多种卫星轨道、卫星传感器和卫星成像方式。2011—2020年间,全球共发射商业遥感卫星1 080颗[1],中国经过20年的发展,已经发射100多颗陆地观测卫星[2]。这些卫星在不同的轨道上以不同的成像方式进行对地观测,要深入理解和掌握其特点和差异,就需要在课程教学中更直观地表现遥感卫星的运行和成像过程。现有的教学手段局限于课件视频和动画,需要提前进行设计制作,无法在课堂教学现场根据需要进行修改和调整,呈现形式也只是二维平面。虽然实物教具可以一定程度弥补课件教学的不足,但遥感卫星的运行和成像涉及的要素较多,过程较为复杂,实物教具难以制作得逼真全面。

增强现实(AR,augmented reality)技术在一定程度上可以将实验教学内容和学生的亲身参与切实结合在一起,通过三维空间的立体交互方式,可使学生跨越地形实体和DEM空间数据之间的认知差异,提升学生对空间分析和可视化方法的理解深度。然而AR实验环境一方面要依赖于识别卡片或规定目标,在遮挡环境下影响了实时效果;另一方面摄像头和显示屏幕相互独立,沉浸感不足,使得AR的效果得不到最充分体现。

混合现实(MR,mixed reality)技术是AR技术的进一步发展,是一种将图像、视频、声音等通过计算机计算得到的信息叠加在物理世界之上的技术。继微软公司2015年1月推出HoloLens1代混合现实产品后,2019年2月发布了HoloLens2(如图1)。这是自从MR概念提出后首次将其真正在产品中实现。

图1 HoloLens2混合现实眼镜

国内外各类学校和研究机构都将混合现实技术引入教学过程,其中应用最多的领域当属医学教学。伦敦帝国理工学院用HoloLens2进行临床教学研究,评估了在新冠肺炎大流行期间使用混合现实头盔向实习医生提供远程床边教学的可行性[3]。从2022年4月开始,新加坡国立大学杨潞龄医学院的医学和护理学生采用微软的三维全息技术来学习医疗知识和研究解剖结构[4]。中国科学技术大学附属第一医院通过混合现实技术让神经外科规培及专培医师充分理解神经结构之间复杂的空间关系,并完成三维空间的重构[5]。陆军军医大学第一附属医院采用混合现实技术构建三维可视化模型实施手术教学[6]。在工程教育领域,南京航空航天大学机电学院尝试采用混合现实技术突破空间、时间和现实约束,在现实世界中投射出全面、逼真、可编辑的机械结构和物理关系模型[7]。东北大学机器人科学与工程学院在机器人工程专业实践教学中开发了基于MR技术的虚拟实验系统,实现在虚拟环境下倒立摆与机械臂系统的控制[8]。江南大学构建了一种基于混合现实技术的中国建筑史教学系统的实现方法,构建以建筑结构识别和文化认知为核心功能的HoloLens教学系统[9]。在地学领域,武汉大学利用混合现实技术将DEM空间分析的实验教学内容融入混合现实交互环境,实现了地形模型的手势交互、剖面分析、通视分析、光照分析等空间分析[10]。

在遥感课程教学中,虚拟现实、增强现实手段也逐渐得到广泛关注。安徽理工大学以遥感专业为例,建立了Google Earth Engine的高校信息化教学模式[11]。山东理工大学探讨了Google Earth软件在遥感地质学教学中的应用[12]。沈阳师范大学整合遥感方向的相关应用进行了基于遥感的增强现实软件技术的研究[13]。上海交通大学上海北斗导航创新研究院裴凌教授提出的联合低轨卫星仿真的多源多星座高逼真仿真教学平台,该平台结合高逼真仿真平台和武汉大学低轨卫星仿真,为科创学习带来便利,为学生研究提供基础的数据采集平台,加深各种导航方式的理解和应用。

但目前还没有将混合现实技术融入到遥感课程教学中的案例。文中基于微软HoloLens2头戴式MR设备,将遥感卫星轨道和成像原理等课程知识点融入到混合现实环境中,在真实课堂环境下实时交互展现,突破传统课堂PPT和板书教学的平面化模式,为学生提供全新的虚实结合课程教学环境。

1 遥感卫星成像教学内容设计

遥感卫星成像是遥感原理与应用课程的重要教学内容,具体包括遥感卫星轨道特点和遥感成像方式等两方面内容。

遥感卫星轨道不仅包括一般卫星轨道的基本特点,还有遥感卫星自己的特点。一般卫星轨道的教学内容涉及卫星轨道参数(长半轴、偏心率、升交点赤经、近地点角距、轨道倾角、过近地点时刻)以及不同卫星轨道的类型(低/中/高轨道、顺行/逆行轨道、赤道/极地轨道、地球/太阳同步轨道)。在此基础上,引出遥感卫星的近圆形、近极地、太阳同步、可重复轨道特点。其中可重复轨道特点是遥感卫星轨道教学的重点,需要学生掌握重复周期的概念的计算方法,以及在遥感变化监测中的作用。

遥感成像方式针对不同类型的卫星,涉及光机扫描成像、线阵推扫式成像、侧视雷达成像、凝视成像等。随着现代遥感卫星的发展,灵巧成像、凝视成像逐步成为主流,例如国产高分系列卫星、吉林一号系列卫星、WorldView系列卫星等。

基于混合现实技术的遥感卫星成像教学,需要针对以上教学内容设计三维模型、功能展现和手势交互,如表1所示。

表1 遥感卫星成像MR教学内容组成

2 HoloLens2混合现实技术

微软公司研发的HoloLens设备便是一款融合了MR技术的智能眼镜。HoloLens混合现实技术通过将现实环境与虚拟世界融合从而产生全新的可视化环境,实现物理环境和数字对象共存,支持人与环境实时互动。

HoloLens2是2019年推出的混合现实头戴式显示器,与第一代设备相比较,重量变得更轻,视野角度增加,佩戴方式更加符合人体工学(允许使用者佩戴眼镜)。HoloLens2拥有独立的计算单元,定制的全息处理单元(HPU,holographic processing unit)以及各种类型的传感器、光学透镜等,其自身带有的深度摄像头可以快速扫描并构建三维场景[14]。HoloLens2拥有四台摄像头,左右两边各两台,其可覆盖的水平和垂直视角都达到了120°。通过对这四台摄像机画面的实时分析,深度摄像头对周围场景快速实现建模,并通过感知摄像头实现对环境以及自身位置的感知,因此, HoloLens2作为目前最具代表性的混合现实设备,通过使用全息处理单元,对使用者的手势、语音、凝视等进行识别,以此实现更加自然的感官交互方式。

3 遥感卫星成像的MR设计

在Hololens环境配置完成后,就可以逐步实现遥感卫星成像过程的模拟。首先对需要实现的运动过程进行分析;然后制作需要的三维模型:包括地球、卫星以及轨道等,并组合在一起;下一步需要编写天体、卫星运动的脚本,实现地球的自转、卫星绕地球公转以及卫星运行轨道绘制等;最后还应该给三维物体添加混合现实组件与脚本,实现在Hololens环境中的交互功能:如放大、缩小、旋转、查看信息、场景切换等。

3.1 卫星运动建模

要确定的卫星运行轨道需要6个基本轨道参数:长半轴、偏心率、轨道面倾角、近地点幅角、升交点赤经以及近地点时刻。以Landsat陆地卫星为例,卫星运行在轨道高度约915 km的近极地太阳同步轨道上,轨道倾角约99.1°,轨道周期为103 min,重复周期为18 d。在以演示为目的的精度要求下,Landsat卫星绕轨运动应被抽象表示为相对于静止的地球做圆周运动:卫星在距地球较近的位置上绕地球做圆周运动,圆周平面与赤道面夹角约99.1°;地球每自转一周,卫星绕地球13.944圈。

遥感卫星常用的坐标系有地心赤道惯性坐标系、地心旋转坐标系、轨道坐标系、本体坐标系、当地坐标系等,在这些坐标系之间可以进行坐标转换。在Unity 3D中的坐标系均是笛卡尔三维坐标系,其中世界坐标系是基本的绝对坐标系,用户可以轻易获取任何物体在任意时间的全局坐标;局部坐标系是描述具有父子关系的物体间相对关系的坐标系,其原点位置、基本方向以及比例都与父物体直接相关,同样的也可以得到任一物体在其它物体的局部坐标系中的坐标。

3.2 三维模型制作

1)地球模型。由于地球并不是标准球体,且精度高的椭球体模型对于文中研究目的并无实质性帮助,因此地球模型的制作方法为使用Unity中的预制件Sphere并添加纹理,再进一步根据实际情况修改细节得到。

2)卫星模型。受限于模型素材和制作难度,无法做出仿真度较高的实际遥感卫星模型,因此选择采用网络公开的遥感卫星模型,如图2所示。该模型精度较高,且视觉效果较为逼真。

图2 遥感卫星模型

3)轨道模型。考虑到在地心坐标系下,卫星轨道应是一个动态表示,且Unity 3D中没有轨道相关的预制模型,因此拟采用卫星运动轨迹的形式,在卫星运动的同时通过脚本绘制其轨迹,从而表示卫星轨道。

表2中给出了实际地球、卫星、轨道与模型的比例与参照。

表2 实物与模型参照

3.3 三维交互

随着深度传感器的升级,相较HoloLens1,HoloLens2已经具备了实时捕捉佩戴者的手部形状的能力,同时几乎无延迟地生成与手部匹配的3D Mesh数据。利用这个实时生成的手部模型网格与每只手部模型附带的21个关节点,HoloLens2生成了一个虚拟手部模型与虚拟物体进行交互,产生了全关节手部追踪交互的技术效果。

在HoloLens环境中,通过添加相关组件和脚本的方式来实现和虚拟物体交互的功能。包括Collider(碰撞体)组件、Object Manipulator(对象操控器)组件、Near Interaction Grabbable(抓取)组件、Bounds Control(边界控件)组件。以上组件来源于HoloLens2提供的混合现实工具包(MRTK)。

3.4 MR功能程序实现(图3)

图3 MR功能程序实现效果

1)点击卫星轨道参数,程序将展现一个地球模型。围绕地球模型,将地球轨道关键点(春分点和秋分点),卫星轨道关键点(近地点、远地点、升交点、降交点),卫星轨道参数(轨道倾角、升交点赤经、近地点角距、真近点角)全部展现出来。用户可以通过手势来拾取整个模型,进行放大缩小、平移、旋转等操作。用户抬起左手到视野中,程序会显示全部关键点和关键参数的显示/隐藏开关。

2)点击近圆形近极地轨道,程序显示一个卫星绕着地球,进行近圆形近极地运行的动态模型。地球自转的同时卫星绕南北极运行,形象展现近圆形近极地轨道的轨道特点。用户抬起左手到视野中,程序会显示地球和卫星轨道两个显示/隐藏按钮,可以对地球和卫星轨道单独进行显示。

3)点击太阳同步轨道,程序显示地球和卫星绕着太阳整体公转的动态模型。此时卫星轨道面始终朝向太阳,以表现太阳同步的概念。用户抬起左手到视野中,程序会显示太阳、地球和卫星轨道三个显示/隐藏按钮,可以对太阳、地球和卫星轨道单独进行显示。

4)点击可重复轨道,程序显示卫星绕地球运行的动态模型,此时地球表面会动态显示卫星星下点的成像范围条带。通过卫星周期运行,成像范围条带最终覆盖全球,并完成轨道重复。

5)点击扫描式成像,程序显示地表上空卫星对地面左右来回扫描成像的模式。

6)点击推扫式成像,程序显示地表上空卫星对地面进行推扫成像的模式。包括对任意区域的推扫和对同一区域的重复推扫。

7)点击高光谱成像,程序显示地表上空卫星对地面进行高光谱成像的模式。其中不同颜色的光束代表高光谱卫星的不同波段。

8)点击侧视雷达成像,程序显示地表上空卫星对地面进行侧视雷达成像的模式。包括哨兵卫星的雷达成像和TerraSAR的SpotLight、StripMap、ScanSAR三种雷达成像方式。

4 MR课堂教学实践

课堂实际教学活动中,为了能让学生参与到混合现实教学环境,利用HoloLens2的无线网络传输将第一视角画面共享到课堂大屏幕上。教师可以全身心地利用虚拟模型进行遥感卫星成像的三维交互教学,同时也能透过HoloLens2眼镜看到课堂教室现场真实环境。学生能通过教室大屏幕实时看到教师的虚拟交互内容,也可以用自己的手机连接共享画面,还可以佩戴HoloLens2亲身体验(见图4)。

图4 遥感卫星成像混合现实教学课堂实践

从课堂教学实践的实际效果来看,学生对这一新的教学方式普遍感兴趣,能跟随教师的引导和同步画面沉浸在混合现实环境的教学内容中,更为专注地理解和掌握遥感卫星成像的原理和特点。教师在教学过程中也不受实物教学器材和模型的限制,更加自如地围绕虚拟环境展开教学,同时也可以及时与学生进行互动交流,尤其是释放了双手,可以自由地针对遥感卫星成像的具体细节进行“拿捏式”的讲解,使得学生对相关概念和知识点的了解更加直观,理解更为全面。

4 结束语

在混合现实技术的支持下,遥感课程教学强化了遥感卫星成像的重难点知识,通过混合现实的多感官沉浸式环境进行注意力聚焦,加强了学生对重难点知识学习力度,同时又能兼顾课堂现场教学环境,增强了课堂现场教学中的即时反馈和互动。作为前沿技术,混合现实的新颖性和科技感非常容易引起学生的兴趣,在沉浸式、交互式环境中,更能直观而立体地呈现课程内容。HoloLens2混合现实技术在实际的教学过程中得到学生的认可,有效地提高了遥感卫星成像的教学效果。