无线供能边缘计算时延优化卸载策略研究综述

黄博闻 陈晓龙 方存亮 周文桦 李金红 黄琪雯 池凯凯

摘要：无线供能及移动边缘计算技术的整合为下一代无线通信网的实现提供了技术支持。然而，用户数量的激增将对诸如系统响应时效性和超低延时等需求的实现提出了新的挑战。因此，如何设计迭代次数少、收敛速度快、灵活性强的实时计算卸载策略成了研究的新热点。文章梳理了无线供能移动边缘计算（Wireless Powered Mobile Edge Computing，WP-MEC）系统在实现超低延时需求上面临的问题与挑战；总结了WP-MEC系统的网络模型及其计算卸载策略的研究概况；详细阐述了4种不同接入方式下的WP-MEC系统的计算卸载策略研究现状；对比分析了各类传统的数值优化方法及深度强化学习优化方法在实时计算卸载决策方面的优劣；对低复杂度高效计算卸载策略的发展进行总结与展望，提出了延时最小化计算卸载策略的3个关键研究方向。

关键词：深度强化学习；无线供能网络；移动边缘计算；卸载策略；计算延时最小化

中图分类号：TN929.5文献标志码：A

0 引言

泛在物联网被认为是下一代无线通信网的关键驱动力^[1-3]，将提供近100%的地理无线覆盖范围，但由于尺寸及制造成本的限制，泛在物联网用户节点（简称“用户节点”）的计算能力、电池电量及寿命均受到限制。用户节点具有数量多、部署无规律等缺点，导致为用户节点更换电池会产生大量开销。

移动边缘计算（Mobile Edge Computing，MEC）的出现实现了将用户节点数据卸载至服务器（简称“计算节点”）的功能，从而解决了用户节点计算能力受限的问题^[4-7]。除此以外，无线能量传输（Wireless Powered Transfer，WPT）技术的出现解决了用户节点由数据处理、任务卸载等操作而导致的大量电池能量消耗、电池能量供给不足、电池寿命降低等问题。由WPT和MEC技术集成的无线供能边缘计算（Wireless Powered MEC，WP-MEC）系统可以较好地解决低功耗节点能量和计算能力受限的问题^[8-10]。

然而，随着用户节点的快速增长，如何满足数以亿计的用户节点采集数据的时效性和超低延时要求将成为一个新的需求。为此，需要进一步提升系统处理和数据响应的能力。如何设计一种既具有较低复杂度又能够达到计算延时最小化性能的高效计算卸载技术成了新的待攻克问题，也是我国亟需占领的物联网技术新高地^[11-12]。此外，形成高效的无线供能边缘计算卸载理论^[13]还有助于形成绿色低碳循环经济体系，助力实现碳达峰碳中和目标。

1 无线供能边缘计算系统的计算卸载策略研究现状

1.1 无线供能边缘计算系统计算卸载策略概述

卸载策略是在不同应用场景下，根据不同的实际情况（主要包含网络模型种类、卸载传输方式、任务处理方式），结合特定的优化目标、决策变量及优化方法而确定的策略。

目前，有关WP-MEC系统计算卸载策略的研究结果如图1所示。这些研究在确定了网络模型种类、卸载传输方式和任务处理方式后，分别将计算速率、计算效率、能耗、延时、公平性作为优化目标，采用李雅普诺夫优化技术、凸优化技术、拉格朗日对偶优化方法、马尔可夫决策过程、在线学习智能算法等，对计算节点能量、传输时长、用户节点计算卸载比例、传输功率、CPU计算周期频率等变量进行联合优化。

1.2 无线供能边缘计算系统网络模型

目前，对于无线供能边缘计算系统计算卸载策略的相关研究大多集中在单计算节点、多用户节点网络结构中，如图2所示。对于WP-MEC系统而言，一般假设计算节点具有强大的计算能力，可以为用户节点处理部分计算工作，并能通过下行链路为所有用户节点传输能源；用户节点既可通过上下行链路将计算任务传递给计算节点，又可执行本地计算。下行无线供能和本地计算功能可以同时执行，但是下行无线在进行供能的同时无法执行上行计算的卸载操作。

在已有的卸载策略中，时间帧通常包含4个阶段，如图3所示。第一阶段，计算节点向K个用户传输能量。第二阶段，用户通过使用时分多址（Time Division Multiple Access，TDMA）、频分多址（frequency division multiple access，FDMA）、正交频分多址（Orthogonal Frequency-Division Multiple Access，OFDMA）、非正交多址接入（Non-Orthgonal Multiple Access，NOMA）等无线接入技术将计算任务卸载给MEC。第三阶段，MEC执行来自用户的计算任务。第四阶段，边际外部成本（Marginal External Cost，MEC）将计算结果下载给用户。

1.3 不同接入方式下的无线供能边缘计算系统计算卸载策略

针对基于单计算节点、多用户节点的网络结构场景，本文根据不同的优化目标和无线接入方式，归纳现有文献的研究现状，如表1所示。下面对4种无线接入方式下的WP-MEC系统研究现状进行详细介绍。

1.3.1 基于TDMA接入计算卸载策略研究现状

Zeng等^[14]提出了一种上行链路采用NOMA和TDMA进行信息传输的方法。通过联合优化用户节点二分卸载、能量传输时长、用户节点CPU计算周期频率和传输功率，所提研究方法实现了所有用户节点计算速率总和的最大化，证明了TDMA和NOMA系统的最大可实现率是相同的；但采用NOMA进行协议传输的方法能够进一步提高系统的公平性。

Feng等^[15]提出了一种考虑计算节点的传输功率、用户节点的卸载数据比例和发送功率的联合优化方法，利用拉格朗日对偶方法设计迭代算法，将被卸载的延迟约束转换为被卸载的数据速率约束。所提方法在卸载延时约束下，既能使数据利用率最大化，又能使运营商能耗最小化。

Zhou等^[16]提出了一种计及能量传输时长、用户节点计算任务卸载时间、传输功率、CPU计算周期频率的联合优化方法。在最大-最小公平计算准则下，所提方法实现了计算效率最大化。仿真结果表明，所提出的资源分配方案在用户公平性方面优于基准资源分配方案，部分计算卸载模式在计算效率方面优于二进制计算卸载模式，NOMA在计算效率方面优于TDMA。

Bi等^[17]提出了一种考虑用户能量传输和计算卸载模式（二元卸载）的联合优化方法，实现了用户节点的总计算率的最大化。仿真结果表明，所提出的资源分配方案在用户公平性方面优于基准资源分配方案，部分计算卸载模式在计算效率方面优于二进制计算卸载模式，NOMA在计算效率方面优于TDMA。

Mirghasemi等^[18]提出了一种计及能量传输时长、用户节点传输功率和CPU计算周期频率的联合优化方法，利用李雅普诺夫优化方法，在保证任务和能量队列稳定性的前提以及满足比例公平性的条件下，实现了计算效用函数最大化。

Wu等^[19]研究了WP-MEC系统中的异构物联网系统的联合调度问题。假设信道条件和任务到达率服从概率分布，基于李雅普诺夫优化理论，利用能量感知资源调度在线算法，在未考虑网络状态信息先验知识的情况下，文章提出了一种考虑用户节点能量传输和信息传输的时间分配以及本地计算和卸载计算的比例和上传传输功率的联合优化方法，实现了系统效用（包括吞吐量和公平性）的最大化。

Wu等^[20]考虑了数据有效时间问题，若数据超过一定时间未被处理，则认为该数据已无意义需要丢弃。利用李雅普诺夫和凸优化技术，基于数据有效时间感知调度机制，文章提出了一种计及用户节点能量传输和信息传输的时间分配、用户节点数据到达率和丢弃率的联合优化方法，实现了系统效用的最大化。

Li等^[21]假设用户节点任务到达率服从概率分布的随机变量，采用李雅普诺夫优化技术，联合优化能量传输时长、用户节点CPU计算周期频率、传输功率，实现了能源效率和延时的平衡。

叶迎晖等^[22]提出了一种考虑能量传输时长、用户节点计算任务卸载比例、CPU计算周期频率、传输功率的联合优化方法，实现了各用户节点计算延时之和最小化。Ye等^[23]考虑了集成混合被动反向通信（Back散射）和主动传输WP-MEC网络，提出了一种计及专用能量传输时长、用户节点计算任务卸载比例、CPU计算周期频率、传输功率的联合优化方法，实现了各用户节点计算延时之和最小化。由此可见，文献[22-23]研究了TDMA无线接入场景下计算延时最小化的卸载策略。

1.3.2 基于FDMA接入计算卸载策略研究现状

Li等^[24]假设用户节点任务到达率服从概率分布的随机变量，采用李雅普诺夫优化技术，在每个时隙，提出一种考虑能量传输时长、用户节点CPU计算周期频率、传输功率的联合优化方法，实现了时间平均计算速率的最大化。

Wang等^[25-26]利用射频信号的发射能量波束，形成可以向具有动态任务到达率的用户节点充电的场景。在由多个时隙组成的有限时间范围内，基于滑动窗口的在线资源分配算法和拉格朗日对偶法，提出一种计及能量传输协方差矩阵、计算节点远程执行任务输入位数、用户本地计算和卸载的任务输入位数的联合优化方法，在有限的时间范围内实现了系统的总能耗最小化。

1.3.3 基于OFDMA接入计算卸载策略研究现状

Tran等^[27]考虑了用户节点采用OFDMA协议卸载到计算节点的二分卸载，提出了一种计及用户节点与计算节点的关联、用户节点的发射功率和计算节点的计算资源分配的联合优化方法，与本地计算相比，实现任务完成时间和能耗减少量加权和的最大化。

Li等^[28]同样考虑了用户节点采用OFDMA协议卸载到计算节点的二分卸载，提出了一种二阶段启发式算法，在每个节点的计算延迟约束下，优化节点的卸载决策、信道选择、功率分配和计算资源分配，实现了用户节点的能耗最小化。

Wei等^[29]提出了一种新的OFDMA系统协议，其中，无线能量传输辅助中继工作在全双工解码和转发模式，考虑到EH效率的非线性，通过联合优化时隙持续时间、子载波分配及源节点和中继节点的传输功率，设计了一种近乎最优的基于迭代的动态无线能量传输全双工中继算法。

Huang等^[30]假设计算节点和用户节点分别是服务提供商（Service Provider，SP）和设备所有者（Device Owner， DO），SP设置计算资源和能源的价格，而DO根据给定的价格做出最优响应。假设SP对DO的充电时间固定，每个DO都有一个等待执行的任务，已知每个任务的数据大小、完成任务所需的计算资源以及允许完成的最大时间。假设能量传输时长固定，采用OFDMA卸载进行信息传输，制定了一个2级优化问题：上层为SP生成计算资源和能量的价格；在给定的价格下，下层为DO的模式选择（二分卸载）、广播功率和计算资源分配的优化。所提策略实现了SP为DO整体效用最大化。

Nguyen等^[31]考虑了基于OFDMA接入技术的反向散射通信辅助的WP-MEC网络，通过联合优化卸载决策、时间分配、后向散射系数和发射功率，最大化总计算速率。

综上所述，现有研究尚未对计算延时最小化卸载策略和OFDMA接入技术中各子载波的动态分配进行深入研究。

1.3.4 基于NOMA接入计算卸载策略研究现状

Li等^[32]基于NOMA技术，假设所有用户节点采用二分卸载到计算节点，采用的解码顺序是从信道增益较好的用户节点到信道增益较差的节点，在所提方案中，计算节点已知该解码顺序，以便为无线设备分配无线信道；基于李雅普诺夫优化框架，所提方案利用凸逼近方法的迭代算法，提出一种考虑能量传输时长、用户节点计算卸载比例、CPU计算周期频率和传输功率的联合优化方案，在满足延迟约束的条件下，实现能耗最小化。

Fang等^[33]考虑多个节点以NOMA技术进行部分卸载到计算节点的场景，通过联合优化用户节点的卸载比例和发射功率，所提方案能够同时满足发射功率和节点能耗的约束，实现任务计算能耗的最小化。

Vu等^[34]研究了基于NOMA技术接入的WP-MEC，推导涉及用户节点误块率、吞吐量、能源效率、延迟和可靠性的闭式表达式，提出了一种有效的算法，所提算法通过优化功率分配系数来最小化NOMA用户的误块率。

Cheng等^[35]研究了基于NOMA技术接入的WP-MEC系统，根据用户到计算节点的距离，将用户分为近端用户和远端用户。研究方案选择一个近端用户和一个远端用户组成NOMA对，在下行阶段收集能量，在上行阶段传输信息，从而分析推导了信道容量。

Shi等^[36]考虑了用户节点以NOMA技术进行部分卸载到计算节点的场景。首先，在每个周期内，计算节点进行无线供能；然后，用户节点基于NOMA方式进行部分卸载；最后，计算节点进行任务计算。通过联合优化时间分配、发射功率和计算频率的迭代算法，实现了计算能量效率的最大化。

Qian等^[37]利用NOMA来实现MA-MEC中的计算卸载，提出了一种多址多任务计算卸载、NOMA传输和计算资源分配的联合优化方法，其目标是在所需的延迟限制下最大限度地减少物联网设备的总能耗，以完成其任务。文献[14，16，18，21]同时研究了TDMA和NOMA协议。

综上可知，目前，基于NOMA的接入技术均假设采用从信道增益较好的用户节点到信道增益较差的节点的解码顺序，并未对计算延时最小化卸载策略和有关如何确定最优的解码顺序方面开展深入研究。

2 深度强化学习赋能的无线供能移动边缘计算延时最小化卸载策略

2.1 深度强化学习赋能的无线供能移动边缘计算系统计算卸载策略研究现状

通过对无线供能移动边缘计算系统的计算卸载策略研究现状的分析可知，不论是二分卸载还是部分卸载，所采用的优化方法集中于传统的非在线学习智能算法。这些传统的优化方法未必能达到计算延时最小化的优化目标。例如，在无线衰落环境中，时变无线信道条件在很大程度上影响了无线供电MEC系统的最佳卸载决策^[38]。在多用户场景中，主要的挑战是单独计算模式（即卸载或本地计算）和无线资源分配的联合优化。而由于存在二进制卸载变量，通常将此类问题表述为混合整数规划（Mixed Integer Programming，MIP）问题。为了解决MIP问题，现有研究采用分支定界算法^[39]和动态规划法^[40]，但上述方法存在计算复杂度高的缺陷。为了降低计算复杂度，Bi等^[41-42]提出了启发式局部搜索方法，Guo等^[43-44]提出了凸松弛方法。然而，以上研究都需要相当数量的迭代才能达到令人满意的局部最优，故上述方法不适合在快速衰落信道中做出实时卸载决策，因为一旦信道衰落发生显著变化，就需要重新解决优化问题^[45]。

为了使网络系统的处理过程及数据响应过程实现前述的超低延迟要求，现有的研究目标是获得一种在线学习智能算法。该算法可以将任务卸载决策和无线资源分配进行联合优化以最优地适应时变无线信道条件。这需要在信道相干的时间内快速解决硬组合优化问题，而传统的数值优化方法很难实现。值得一提的是，针对不同的应用场景，在线智能算法之间也存在优劣之分。在动态无线网络中，使用深度强化学习算法相对于基于监督学习的深度神经网络算法具有如下优势：深度强化学习无须手动标记的训练样本；深度强化学习算法对用户信道分布的变化具有更强的鲁棒性。目前，对于无线供能移动边缘计算卸载策略的研究大多采用深度强化学习方法作为在线智能算法。下面重点介绍在不同的研究目标下，基于深度强化学习方法对无线供能移动边缘计算卸载策略进行卓有成效的研究策略。

为了降低系统的长期成本，Xu等^[46]提出了一种基于深度强化学习的在线资源管理方案。任务卸载和服务器的提供都可以通过设计一个基于决策后状态的算法来学习。Li等^[47]采用无人机作为服务器模式为用户节点充电，以获取数据，据此设计了一个车载深度学习网络来最小化用户节点的数据包丢失方案，通过学习充电和数据收集决策，以获得最优的解决方案。

为了最大化系统的计算效率，Huang等^[45]提出了一个基于深度强化学习的在线卸载框架。该框架利用深度神经网络实现了一个可扩展的解决方案，从经验中学习二进制卸载决策。所提方案消除了解决组合优化问题的需求，特别是在大型网络中，大幅降低了计算复杂度。为了进一步降低复杂性，该文献还提出了一个自适应程序，自动调整DROO算法的参数。数值计算结果表明，与现有的优化方法相比，该算法能在显著减少计算时间的同时，实现接近最优性能的目标。

为了最大化系统计算速率总和，Zhang等^[48]考虑基于部分卸载模式的WP-MEC网络，建立考虑计算节点能量传输时长、用户节点的传输时间分配和部分卸载比例的联合优化问题，并将上述卸载问题分解为主问题和子问题。文章设计了一个基于在线深度强化学习的框架，采用一个深度神经网络及其探索策略和训练策略来求主问题的最优解，并设计了一种有效的优化算法来解决子问题。数值结果表明，与使用求解器CVX求解子问题和使用深度神经网络求解主问题的方案相比，基于深度强化学习的卸载算法实现了接近最大的总计算速率和，同时减少了至少2个数量级的处理时间。

目前，对于深度强化学习赋能的无线供能移动边缘计算的卸载策略的研究并未在计算延时最小化卸载策略方向上进行相关探索。

2.2 深度强化学习赋能的无线供能移动边缘计算延时最小化卸载策略研究方向的总结与展望

目前的研究成果基本上假设用户的计算卸载时间和本地计算时间都在最大的允许范围内，或是在给定延时要求的前提下，实现了计算速率、能耗、能效的优化。然而，根据前述分析，计算时延是MEC的关键性能指标，因此WP-MEC的计算延时最小化策略研究意义重大。但根据表1中文献列表的研究现状，有关延时最小化的计算卸载策略的研究较少，只有叶迎晖等^[22-23]研究了TDMA无线接入的场景，利用变量松弛、二分查找优化等手段处理复杂、难以直接求解的优化问题。另一方面，叶迎晖等^[22-23]采用的方法在面对优化参数较多、约束较多的WP-MEC计算延时最小化卸载问题时，存在“维度灾”问题。由于存在计算节点能量传输时长、各用户节点本地计算时间和计算卸载传输时间3个时间维度的优化，这3个时间维度的优化均是一个max-max函数，且互相耦合影响。与此同时，在能量因果约束中也存在优化变量耦合这一情况，因此和其他优化目标相比，计算延时最小化问题具有大量的优化变量、大量的约束和复杂的数学刻画，基于优化理论的方法可能有较高的计算复杂度（无法应用于快衰落无线信道）。而人工智能模型如DQN（Deep Q-network）、深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）等，由于巨大的状态空间和动作空间以及难以处理的大量约束，很难实现最终的收敛目标（即使收敛，收敛性能通常也不理想）。因此，设计既具有较低复杂度又能达到较好任务计算性能的计算延时最小化卸载算法面临较大的挑战。

综上所述，为了能够实现具有较低计算复杂度的同时获得近似最优的计算性能，形成相关理论推动WP-MEC边缘计算技术的发展，未来可以在以下3个关键问题上展开进一步的探究，如图4所示。

2.2.1 基于TDMA的计算延时最小化卸载策略设计

对该问题的研究旨在设计出基于信道增益、用户任务的最优化能量传输时长的深度强化学习框架，形成基于TDMA接入技术的深度强化学习和优化技术联合赋能的计算延时最小化卸载技术及理论。

该研究方向需要基于TDMA接入方式，探明计算延时和信道增益、能量传输时长、传输功率、CPU计算周期频率、计算任务大小、卸载比例分配之间的因果关系，构建计算延时最小化优化模型。如何将优化问题转化为适合深度强化学习模型以及基于凸优化、连续凸近似等优化理论求解的子问题将是一个具有挑战性的工作。另外，探索策略的设计也是该研究的一个难点。所研究的基于能量传输时长与各控制变量因果关系，不仅要设计提升深度神经网络连续变量优化算法性能的探索策略，还要设计合适的候选能量传输时长的集合，避免算法的局部收敛，以在计算复杂度、收敛速度和收敛效果上取得较好的均衡。

2.2.2 基于OFDMA的计算延时最小化卸载策略设计

对该问题的研究旨在设计出基于信道增益、用户任务的最优化用户节点子载波数目分配策略的深度强化学习框架，形成基于OFDMA接入技术的深度强化学习和优化技术联合赋能的计算延时最小化卸载技术及理论。

该研究方向需要基于OFDMA接入方式，在研究基于TDMA的计算延时最小化卸载策略设计的因果关系基础上，进一步探明计算延时和各用户节点子载波数目分配的因果关系，构建计算延时最小化优化模型。对于该研究问题的解决，其中一种可能的方向是将原问题分解为用户节点子载波数目分配最优化的整数规划问题和给定各用户节点子载波数目分配的卸载策略和资源分配最优化问题。并针对以上子问题设计出基于网络状态求解最优化用户节点子载波数目的基于深度神经网络的深度强化学习模型以及合适的搜索算法。

对于该研究方向而言，基于用户节点子载波数目分配与各控制变量因果关系，研究如何提升深度神经网络整数规划算法性能的探索策略，设计合适的候选子载波分配决策和随机噪声添加方法，避免算法局部收敛，以在计算复杂度、收敛速度和收敛效果上取得较好均衡将是一个具有挑战性的工作。

2.2.3 基于NOMA的计算延时最小化卸载策略设计

目前，基于NOMA技术的相关研究基本假设解码顺序是从信道增益较好的用户节点到信道增益较差的节点，然而，此种解码顺序显然无法满足不同网络模型对计算延时最小化的需求。所以设计出基于信道增益、用户任务的最优化用户节点解调顺序策略是一个有意义的研究方向。

该研究方向需要基于NOMA接入方式，在前述2个研究方向因果关系的基础上，进一步探明计算延时和计算节点对各用户节点信号的解调顺序因果关系，构建计算延时最小化优化模型。对于该研究问题的解决，其中一种可能的方向是将原问题分解为最优化计算节点对各用户节点信号的解调顺序的排序优化问题和给定计算节点对各用户节点信号的解调顺序的卸载策略和资源分配问题。而如何设计基于深度神经网络的深度强化学习模型，在计算复杂度较低的情况下找到用户节点信号解调的最优顺序，实现计算总延时最小化的计算卸载策略，并巧妙设计激活函数，实现深度强化学习模型输出为解调顺序是问题求解的关键。这其中最核心的问题是如何设计神经网络输出层与动作决策的映射关系，并制定合适的决策概率分布函数来增强强化学习的探索特性，避免算法局部收敛，降低计算复杂度，提升收敛速度。

3 结语

本文阐述了下一代无线通信网络将会面临的由用户数量激增所导致的系统响应时效性和超低延时等新需求的挑战，并对6类优化目标的研究现状进行了调研，发现当前对于计算延时最小化的研究还相对较少，从而将问题聚焦到无线供能移动边缘计算系统的计算延时最小化上。而后，本文梳理并对比分析了各类优化方法的优劣，发现将深度强化学习算法与传统算法相结合能够使问题求解的迭代次数更少，收敛速度更快，灵活性更强。最后，本文给出了深度强化学习赋能的无线供能移动边缘计算网络的计算延时最小化的3个关键未来研究方向。以上问题的研究将为应对无线用户节点计算能力与能量的双重受限问题，提供更高效、优化的计算卸载策略，并为其提供技术支持和科学的设计思路。

参考文献

[1]WEI Z Q，YU X H，NG D W K，et al. Resource allocation for simultaneous wireless information and power transfer systems：a tutorial overview[J]. Proceedings of the IEEE，2022（1）：127-149.

[2]STOYANOVA M，NIKOLOUDAKIS Y，PANAGIO-TAKIS S，et al. A survey on the Internet of Things （IoT）forensics：Challenges，approaches，and open issues[J]. IEEE Communications Surveys & Tutorials，2020（2）：1191-1221.

[3]AHMAD Q Y，NAUMAN A，BIN Z Y，et al. The future of healthcare Internet of Things：A survey of emerging technologies[J]. IEEE Communications Surveys & Tutorials，2020（2）：1121-1167.

[4]CHETTRI L，BERA R. A comprehensive survey on Internet of Things （IoT）toward 5G wireless systems[J]. IEEE Internet of Things Journal，2020（1）：16-32.

[5]ZHAO P，TAO J W，LUI K，et al. Deep reinforcement learning-based joint optimization of delay and privacy in multiple-user MEC systems[J]. IEEE Transactions on Cloud Computing，2023（2）：1487-1499.

[6]WANG X J，NING Z L，GUO L，et al. Online learning for distributed computation offloading in wireless powered mobile edge computing networks[J]. IEEE Transactions on Parallel and Distributed Systems，2022（8）：1841-1855.

[7]张依琳，梁玉珠，尹沐君，等.移动边缘计算中计算卸载方案研究综述[J].计算机学报，2021（12）：2406-2430.

[8]JU H，ZHANG R. Throughput maximization in wireless powered communication networks[J]. IEEE Transactions on Wireless Communications，2014（1）：418-428.

[9]LIU G H，WANG Z H，JIANG T. QoS-aware throughput maximization in wireless powered underground sensor networks[J]. IEEE Transactions on Communications，2016（11）：4776-4789.

[10]CHI K K，ZHU Y H，LI Y J，et al. Minimization of transmission completion time in wireless powered communication networks[J]. IEEE Internet of Things Journal，2017（5）：1671-1683.

[11] PARK J，SOLANKI S，BAEK S，et al. Latency minimization for wireless powered mobile edge computing networks with nonlinear rectifiers[J]. IEEE Transactions on Vehicular Technology，2021（8）：8320-8324.

[12]LAN X L，CHEN Q C，CAI L，et al. Buffer-aided adaptive wireless powered communication network with finite energy storage and data buffer[J]. IEEE Transactions on Wireless Communications，2019（12）：5764-5779.

[13]LI B G，SI F Q，ZHAO W，et al. Wireless powered mobile edge computing with NOMA and user cooperation[J]. IEEE Transactions on Vehicular Technology，2021（2）：1957-1961.

[14]ZENG M，DU R，FODOR V，et al. 2019 IEEE 20th International Symposium on Power Electronics：Computation Rate Maximization for Wireless Powered Mobile Edge Computing with NOMA，October 23-26，2019[C]. Novi Sad，Serbia：IEEE，2019.

[15]FENG J，PEI Q Q，YU F R，et al. Computation offloading and resource allocation for wireless powered mobile edge computing with latency constraint[J]. IEEE Wireless Communications Letters，2019（5）：1320-1323.

[16]ZHOU F，HU R Q. Computation efficiency maximization in wireless-powered mobile edge computing Networks [J]. IEEE Transactions on Wireless Communications，2020（5）：3170-3184.

[17]BI S Z，ZHANG Y J. Computation rate maximization for wireless powered mobile-edge computing with binary computation offloading[J]. IEEE Transactions on Wireless Communications，2018（6）：4177-4190.

[18]MIRGHASEMI H，VANDENDORPE L，ASHRAF M. 2020 IEEE Wireless Communications and Networking Conference：Optimal Online Resource Allocation for SWIPT-based Mobile Edge Computing Systems，May 25-28，2020[C] （WCNC）. Seoul，South Korea：IEEE，2020.

[19]WU H，LYU X，TIAN H. Online optimization of wirelss powered mobile-edge computing for Het-erogeneous[J]. Industrial Internet of Things Journal，2019（6）：9880-9892.

[20]WU H，TIAN H，FAN S S，et al. Data age aware scheduling for wireless powered mobile-edge computing in industrial Internet of Things[J]. IEEE Transactions on Industrial Informatics，2021（1）：398-408.

[21]LI C L，CHEN W N，TANG H L，et al. Stochastic computation resource allocation for mobile edge computing powered by wireless energy transfer[J]. Ad Hoc Networks，2019，93：101897.

[22]叶迎晖，施丽琴，卢光跃.无线供能移动边缘网络中计算时延最小化资源分配方法研究[J].电子与信息学报，2022（5）：1839-1846.

[23]YE Y H，SHI L Q，CHU X L，et al. Delay minimization in wireless powered mobile edge computing with hybrid BackCom and AT[J]. IEEE Wireless Communications Letters，2021（7）：1532-1536.

[24]LI C L，CHEN W N，TANG J H，et al. Radio and computing resource allocation with energy harvesting devices in mobile edge computing environment[J]. Computer Communications，2019，145：193-202.

[25]WANG F，XING H，XU J. ICC 2019 - 2019 IEEE International Conference on Communications：Optimal Resource Allocation for Wireless Powered Mobile Edge Computing with Dynamic Task Arrivals，May 20-24，2019[C]. Shanghai，China：IEEE，2019.

[26]WANG F，XING H，XU J. Real-time resource allocation for wireless powered multiuser mobile edge computing with energy and task causality[J]. IEEE Transactions on Communications，2020（11）：7140-7155.

[27]TRAN T X，POMPILI D. Joint task offloading and resource allocation for multi-server mobile-edge computing networks[J]. IEEE Transactions on Vehicular Technology，2019（1）：856-868.

[28]LI H L，XU H T，ZHOU C C，et al. Joint optimization strategy of computation offloading and resource allocation in multi-access edge computing environment[J]. IEEE Transactions on Vehicular Technology，2020（9）：10214-10226.

[29]WEI Z X，SUN S M，ZHU X，et al. Resource allocation for wireless-powered full-duplex relaying systems with nonlinear energy harvesting efficiency[J]. IEEE Transactions on Vehicular Technology，2019（12）：12079-12093.

[30]HUANG P Q，WANG Y，WANG K Z. A divide-and-conquer bilevel optimization algorithm for jointly pricing computing resources and energy in wireless powered MEC[J]. IEEE Transactions on Cybernetics，2022（11）：12099-12111.

[31]NGUYEN P X，TRAN D H，ONIRETI O，et al. Backscatter-assisted data offloading in OFDMA-based wireless-powered mobile edge computing for IoT networks[J]. IEEE Internet of Things Journal，2021（11）：9233-9243.

[32]LI C L，TANG J H，LUO Y L. Dynamic multi-user computation offloading for wireless powered mobile edge computing[J]. Journal of Network and Computer Applications，2019，131：1-15.

[33]FANG F，XU Y Q，DING Z G，et al. Optimal resource allocation for delay minimization in NOMA-MEC networks[J]. IEEE Transactions on Communications，2020（12）：7867-7881.

[34]VU T H，NGUYEN T V，NGUYEN T T，et al. Performance analysis and deep learning design of wireless powered cognitive NOMA IoT short-packet communications with imperfect CSI and SIC[J]. IEEE Internet of Things Journal，2022（13）：10464-10479.

[35]CHENG Y Y，LI K H，TEH K C，et al. Two-tier NOMA-based wireless powered communication networks[J]. IEEE Systems Journal，2022（3）：4698-4707.

[36]SHI L Q，YE Y H，CHU X L，et al. Computation energy efficiency maximization for a NOMA-based WPT-MEC network[J]. IEEE Internet of Things Journal，2021（13）：10731-10744.

[37]QIAN L P，WU Y，JIANG F L，et al. NOMA assisted multi-task multi-access mobile edge computing via deep reinforcement learning for industrial Internet of Things[J]. IEEE Transactions on Industrial Informatics，2021（8）：5688-5698.

[38]YOU C S，HUANG K B，CHAE H. Energy efficient mobile cloud computing powered by wireless energy transfer[J]. IEEE Journal on Selected Areas in Communications，2016（5）：1757-1771.

[39]NARENDRA P M，FUKUNAGA K. A branch and bound algorithm for feature subset selection [J]. IEEE Transactions on Computers，1977（9）：917-922.

[40]BERTSEKAS D P. Dynamic programming and optimal control[M]. Belmont，MA：Athena Scientific，1995.

[41]BI S Z，ZHANG Y J. Computation rate maximization for wireless powered mobile-edge computing with binary computation offloading[J]. IEEE Transactions on Wireless Communications，2018（6）：4177-4190.

[42]TRAN T X，POMPILI D. Joint task offloading and resource allocation for multi-server mobile-edge computing networks[J]. IEEE Transactions on Vehicular Technology，2019（1）：856-868.

[43]GUO S T，XIAO B，YANG Y Y，et al. IEEE INFOCOM 2016 - The 35th Annual IEEE International Conference on Computer Communications：Energy-Efficient Dynamic Offloading and Resource Scheduling in Mobile Cloud Computing，April 10-15，2016[C]. San Francisco，CA，USA：IEEE，2016.

[44]DINH T Q，TANG J H，LA Q D，et al. Offloading in mobile edge computing：task allocation and computational frequency scaling[J]. IEEE Transactions on Communications，2017（8）：3571-3584.

[45]HUANG L，BI S Z，ZHANG Y J A. Deep reinforcement learning for online computation offloading in wireless powered mobile-edge computing networks[J]. IEEE Transactions on Mobile Computing，2020（11）：2581-2593.

[46]XU J，REN S L. 2016 IEEE Global Communications Conference：Online Learning for Offloading and Autoscaling in Renewable-Powered Mobile Edge Computing，December 4-8，2016[C]. Washington，DC，USA：IEEE，2016.

[47]LI K，NI W，TOVAR E，et al. On-board deep Q-network for UAV-assisted online power transfer and data collection[J]. IEEE Transactions on Vehicular Technology，2019（12）：12215-12226.

[48]ZHANG S B，GU H，CHI K K，et al. DRL-based partial offloading for maximizing sum computation rate of wireless powered mobile edge computing network[J]. IEEE Transactions on Wireless Communications，2022（12）：10934-10948.

（编辑 王雪芬编辑）

Review of research on offloading strategy for computing delay optimization

in wireless powered edge computing

Huang  Bowen¹， Chen  Xiaolong^1*， Fang  Cunliang¹， Zhou  Wenhua¹， Li  Jinhong¹， Huang  Qiwen¹， Chi  Kaikai²

（1.Jinhua Polytechnic， Jinhua 321000， China; 2.Zhejiang University of Technology， Hangzhou 310014， China）

Abstract： The integration of wireless energy supply and mobile edge computing technology provides a technical support for the realization of the next generation wireless communication network. However， the surge in the number of users poses new challenges to the realization of requirements such as system response timeliness and ultra-low latency. Therefore， how to design a real-time computing offloading strategy with fewer iterations， fast convergence and strong flexibility has become a new research focus. This paper combs the problems and challenges faced by wireless powered mobile edge computing（WP-MEC） system in achieving ultra-low latency requirements， summarizes the research overview of WP-MEC system network models and computing offload strategies， and describes in detail the research status of computing offloading strategies of WP-MEC systems under four different access modes. This paper compares and analyzes the advantages and disadvantages of various traditional numerical optimization methods and deep reinforcement learning optimization methods in real-time computing offloading decision-making. This paper summarizes and prospects the development of low complexity and efficient computing offloading strategies， and proposes three key research directions of delay minimization computing offloading policy.

Key words： deep reinforcement learning; wireless powered network; mobile edge computing; offloading strategy; computing delay minimization