面向体系对抗的电磁环境模拟技术研究*

许 雄，吴若无，汪 亚，韩 慧，曾勇虎，汪连栋

（电子信息系统复杂电磁环境效应国家重点实验室，河南洛阳471003）

0 引言

电磁环境模拟技术原本是一项支撑性的工程技术，其因实验科学而生，又根据不同应用需求而变。从战略需求角度来说，随着电磁频谱战概念的深入发展，不同作战力量和不同作战任务的实施、评估等都需要针对不同对象的电磁环境模拟场景的支持；从领域需求角度来说，不论是装备研究论证领域，还是系统试验鉴定亦或是联合训练演习领域，都需要不同类型的电磁环境模拟手段的支持；从能力需求角度来说，小型的单体电子装备或是组合的信息系统，甚至是大型的作战集群，都需要不同规模的电磁环境模拟技术的支持。

通常，按模拟对象来说，针对侦察/对抗类系统一般主要模拟的是侦察类电磁环境；针对探测/导弹类系统则一般主要模拟的是干扰类电磁环境。按模拟手段来说，主要有数学仿真、半实物仿真、实装模拟等三大类。按模拟规模来说，主要有天线口面、有限区域、广域场景等不同规模大小的电磁环境。

面对未来无人化、智能化作战的需求，人们提出了体系对抗的概念。体系一般也称为“系统之系统”，那么体系对抗也就是指多种系统组合成的一个群体与另一个相当的群体之间的相互博弈对抗。在网络信息体系条件下研究体系对抗，必然需要一种战场环境，而这个环境的核心就是复杂电磁环境。面向体系对抗，要求电磁环境模拟的对象门类齐全、手段综合、规模宏大，典型的就是针对广域动态场景下的模拟，这也给模拟技术提出了巨大的挑战。

电磁环境模拟技术发展到现在，仍面临着诸多共性的朴素问题，如模拟得像不像、真不真、对不对？能否灵活改变模拟场景？模拟的水平怎么样、有多厉害？当然，要回答这些问题仍具有很大的困难。因为电磁环境是不好定量衡量和评价的，所以模拟水平同样不好衡量，也不易提高；而且受限于当前的模拟理念和硬件水平，不同的场景是没那么方便控制或复现的。

不过挑战与机遇往往是并存的。正是体系对抗的需求，促使人们重新看待模拟这项技术。体系对抗条件下的电磁环境因广域、动态、对抗而极具不确定性。因而当前模拟技术中最容易被忽略的一点——场景驱动，也可称为战术仿真便成了阻碍模拟水平提升的关键瓶颈。那么该如何创新模拟技术以缩小差距来满足未来需求呢？作者认为应该从场景驱动角度入手突破，使传统的由脚本驱动模拟向新型的自主决策优化模拟方向改变，进而可推动模拟的关注点由“真不真”向“强不强”的方向发展，这样才能满足未来体系对抗的需求。

1 总体思路

本节将具体提出广域场景下电磁环境模拟技术研究的目标愿景，并在该愿景的牵引下，建立起可行的总体技术框架。

1.1 目标愿景

在传统的大规模电磁环境模拟情境中，场景驱动所涉及的对电磁环境的动态管理控制通常是基于一定的交战规则，在专家知识的帮助下，以战术脚本的形式呈现。既然是脚本，也就相对固定，不易灵活变更，因而每一次模拟只能局限于某一种特定的具体场景。但对于未来的体系对抗来说，不仅现有的专家知识一定是不够的，而且由于对抗进程中的不确定性因素众多，单一脚本一定无法呈现最优的对抗结果。

已有分析表明，体系对抗研究需要一套可以进行智能化战术推演的先进仿真平台。该平台需要电磁环境模拟具备一定的智能博弈决策、自主学习演进等能力。其一，要求电磁环境模拟具有智能博弈决策能力，主要是指各个模拟的环境要素特别是各个辐射源及其装备载体能够具有一定的智能水平、能够拥有一定的战术变化能力，进而在广域场景下，能够根据不同的环境状态做出符合一定规则的决策动作；其二，要求电磁环境模拟具有自主学习演进能力，主要是指各个辐射源能够从与环境交互的过程中学习到更新的规则和知识，以发现更优的策略和战术动作。

因此，面向体系对抗的电磁环境模拟技术的发展目标愿景可归纳为如下三个方面：

1）打造出一个具备广域场景下大规模仿真能力的电磁态势推演平台；

2）训练成一群具备智能博弈对抗和自主学习演进能力的异构智能体；

3）开发好一套具备多智能体的分布式协同控制能力的智能指控系统。

电磁态势推演平台基于建模与仿真的技术而建，用于提供大量的仿真或真实演习数据；异构智能体利用其提供的这些数据进行训练提升，逐渐形成具备智能博弈对抗和自主学习演进的能力；之后通过指控系统，实现指定任务下的多智能体协同决策指挥与战术效果评估，获得模拟体系对抗中全体作战对手的能力。

1.2 技术框架

为了实现上述目标愿景，需要在已有模拟技术体系基础上，充分借鉴当前各种前沿信息技术，探索一种新的模拟技术框架，如图1所示。

图1 模拟技术框架

在上述框架中，首先引入深度学习（DL）、强化学习（RL）等人工智能技术，用于改造各种传统的环境仿真要素，训练出各类异构智能终端；再引入云计算、边缘计算等先进数据处理技术，用于改造传统的指控网络及其各类仿真设施，以适应多智能体协同控制的需要。进而实现电磁环境模拟具备智能博弈对抗和自主学习演进的能力目标。换个角度说，深度学习、强化学习是从软件方面改变了模拟方式；而云计算、边缘计算则是从硬件方面配合提升了模拟能力。这种概念可称为“深度强化学习+云边结合”的技术框架。

该框架也充分秉承了信息技术中自适应和分布式等先进的理念。可以预期，经过后续各项创新研究成果的积累，在这种技术框架下所开展的电磁环境模拟将不再仅仅是一项支撑技术，而可视为一项能够用于研究电磁频谱战新概念、开发智能博弈对抗新算法、进行战术优化设计和辅助决策指挥的核心技术。

2 关键技术问题

为实现上述技术框架的概念，当前需要重点攻克若干类的关键技术，下文将分别具体阐述。

2.1 面向战术推演的电磁作战仿真评估技术

建模与仿真技术在体系对抗研究中具有重要作用。电磁态势仿真推演平台是首先需要解决的一个关键问题。它需要在已有的各类功能仿真和信号仿真模型的基础上，增加更强的可知可控能力，能够进行战术推演，方便接入各类智能体，并用于生成各类数据供其学习训练和效果评估，同时支持训练过程的数据存储与分析等。其表现形式如图2所示。

图2 仿真推演表现形式示意

与传统的仿真系统不同，该推演平台需要重点关注训练需求的知识表示和建模、战术任务的数字化分解以及体系对抗效能的实时预测评估等；需要考虑各种电磁行为建模、场景实时仿真、电磁态势显示、推演控制等多种关键技术的集成方法；需要从可扩展的系统架构、合适的基础模型、专业的对抗规则库等方面着手设计开发，为智能体训练提供一个良好的仿真环境。从数据源来说，还既要支持多类智能体与规则化数字决策系统的对抗训练，又要支持基于LVC（实装、虚拟、构造）仿真的人机对抗训练，这样才能充分融合更专业的关于决策指控的领域知识，以便进一步满足体系对抗所需要的战术仿真推演评估需求。

2.2 基于深度强化学习的智能博弈对抗技术

有了强大的电磁态势仿真推演平台，就可以开展智能体训练了。在深度学习方法成熟之前，传统的强化学习方法主要用于相对简单的智能体技术研究。因现实中众多智能体所面临的环境要素比较复杂，所以无法利用常规的函数进行拟合。而深度学习的出现则展示了其优秀的表征能力，再联合起强化学习出色的决策能力，便有了当前基于深度强化学习的通用人工智能模型。于是，针对电磁环境模拟所需的智能体，可以有如图3所示的训练模型。

图3 深度强化学习训练模型

基于深度强化学习的智能博弈对抗，主要是指将以深度学习和强化学习为代表的机器学习方法引入各个电磁力量之间的博弈对抗行为表征建模的技术。更具体地说，是结合深度强化学习方法，利用相关数据、知识和规则等，训练电磁行动实体进行电磁态势感知、决策行动等。相关的关键技术主要包含深度逆向强化学习、多智能体深度强化学习、分层强化学习和元深度强化学习等。

与其他领域的智能体相比，这里需要重点关注雷达智能体、导引头智能体、干扰机智能体、通信电台智能体、导航智能体等各类电子信息系统的建模与训练。从本质上说，这与认知雷达、认知电子战和认知无线电装备领域的新型算法研究不谋而合。因而相关智能体的成功训练也可为这些先进装备的发展提供参考。

2.3 基于大数据的电磁态势计算与认知技术

对于体系对抗而言，仅仅有单个智能体显然是不够的，因而必然要利用多智能体深度强化学习方法来完成各种异构智能体之间的联合感知、联合行动。而此时用于训练输入的电磁环境状态数据量则会呈爆炸性增长，从而导致训练时间可能难以承受地延长，甚至训练过程无法收敛。于是就需要引入专家知识，开展电磁态势认知理论研究，以用少量的物理量进行电磁环境表征，再利用大数据处理技术，达到实现降低电磁环境状态数据维数的目的。

可以说电磁态势认知是开展多智能体训练的前提条件与关键环节。这里需要重点关注电磁频谱作战的新概念、新模式；关注电磁态势估计理论、电磁态势认知内涵、态势要素体系及关联关系、态势知识表示、态势理解框架及表现模式等研究内容。从数据处理角度来说，多种异构传感器实时产生的大数据作为输入，需要经过态势感知计算、态势理解计算、态势预测计算之后，才能共同形成态势表征输出数据。其输入输出关系如图4所示。

图4 电磁态势计算过程示意

这里的态势表征输出主要包含了三个方面，也可看作是三类视图，分别是关于平台和装备情况的资源视图、关于集群和任务情况的能力视图以及关于全局和优劣情况的决策视图。这样就基本能够达到降低环境状态数据维数的目的，以支持多智能体的学习训练。

2.4 基于云边结合的多智能体决策指控技术

在电磁态势仿真推演平台上，多智能体决策支持系统可以通过直接控制各个智能体，进行电磁态势感知和电磁决策行动的战术推演，但这在实际中却并不好实现。那么就需要依托高性能的指挥信息系统来实现对各个异构智能终端的交互控制。由于体系对抗所涉及的装备类型众多、规模庞大，因而必须要充分发挥云计算和边缘计算的互补优势，构建一个灵活开放可重构的指控网络体系框架，让异构智能终端的数据尽可能就地完成边缘计算以减少网络传输负担，决策支持系统则利用云计算平台完成基于知识库的判断决策、行动筹划等战术类数据处理。云边结合的框架如图5所示。

图5 云边结合框架示意

这里首先就需要考虑云计算平台的架构和部署问题，其次是要重点考虑各个智能体算法在边缘计算节点中的部署实现问题。同时，还要关注云平台和各节点之间数据、信息的高效传输问题。该问题可以通过基于建模与仿真高层体系结构（HLA）、试验与训练使能体系结构（TENA）等技术来着手解决。这些技术已在LVC仿真中得到应用验证，能够为云边结合架构的综合集成提供支撑。

3 结束语

体系对抗研究需求对当前电磁环境模拟技术提出了巨大挑战。在引入人工智能技术、大数据、云计算等前沿技术的基础上，本文提出了基于“深度强化学习+云边结合”的电磁环境模拟技术框架，并阐述了四类主要的关键技术，期望通过电磁态势仿真推演平台来训练出一个多智能体决策支持系统及一群异构智能终端，最终实现智能化而不再是脚本化的电磁环境模拟，逐渐扭转人们常问“模拟得像不像”这种无解问题的局面，促使模拟能力向不断演进增强的方向发展。

当然，在研究的过程中还要摒弃“人工智能无所不能”的极端观点。决策指挥控制可以说是一门人类独有的科学和艺术，一定是需要专家知识的参与。同时，模拟仿真的准确性、可信性是个永恒的挑战，只能在研究中不断积累提高。