一种基于注意力多指标排序的终端能效优化卸载方法

本发明涉及移动边缘计算网络，尤其涉及一种基于注意力多指标排序的终端能效优化卸载方法。

背景技术：

1、随着移动互联网的迅猛发展，智能设备已经融入了人们日常生活，应用程序也变得越来越复杂，包括移动支付、智能医疗、移动游戏和虚拟现实（vr）。这些高要求的应用对智能设备的资源容量提出了挑战。自2008年谷歌提出云计算概念以来，云计算已逐渐引入移动环境，突破了智能设备资源限制，提供了多样化且高效的应用程序和服务。云计算不仅成本效益显著，还简化了信息技术管理，能够更迅速地响应用户需求。然而，随着物联网的兴起，对传输带宽、延迟、能耗、应用性能和可靠性提出了更高的要求。传统云计算的带宽受限，延迟较高，能耗问题显著，难以满足用户对高性能的需求。因此，边缘计算作为一种新的计算范式崭露头角，被视为向5g过渡的关键技术和架构概念。边缘计算是一种支持在网络边缘执行计算的技术，它将原本位于云中的服务和功能移动到用户附近，实现了云计算平台和网络的紧密集成，提供了强大的计算、存储、联网和通信能力。与云计算相比，边缘计算更侧重于处理事物层面的计算需求，使得用户能够获得更出色的体验质量（quality?ofexperience，qoe）和服务质量（quality?of?service，qos）。

2、随着5g通信的崛起，对高质量无线服务的需求呈现了指数级增长趋势。5g时代不仅扩展了手机和平板电脑的应用，还引入了自动驾驶、vr、ar等新的业务场景，以及更贴近生活的领域，如智能电网、智能农业、智能城市和环境监测。这些新服务场景对时延、能效和可靠性等5g关键技术指标提出了更高要求。为了解决移动通信中的挑战，移动边缘计算（mobile?edge?computing，mec）概念应运而生。mec将计算和存储资源带到移动网络的边缘，使其能够在用户设备上运行高性能应用程序，同时满足严格的性能需求。mec服务器提供了大量的计算资源，并与用户设备互动，以提升用户体验。然而，将任务卸载到mec服务器可能会增加通信延迟，从而导致性能下降。因此，需要制定革命性的端边云协作卸载策略，综合考虑延迟和能耗，以在5g时代满足计算密集型应用程序的性能需求。

3、在移动边缘计算领域，存在着一系列关键问题和挑战。首先，任务优先级计算问题是一个核心挑战，因为移动应用程序通常由相互依赖的任务组成，它们之间存在复杂的依赖关系。目前的数学公式计算方法难以充分考虑任务之间的完整依赖关系，导致一些任务被赋予较低的优先级，限制了计算资源的获取，最终导致较高的延迟。其次，任务状态信息处理问题涉及到有效捕捉任务之间的依赖关系，目前的方法可能无法充分实现这一目标，导致后续任务卸载决策效率下降。此外，基于启发式搜索的卸载方法需要较长的系统执行时间，且难以适应动态变化的场景，影响了卸载决策的效率。最后，现有基于深度强化学习的方法存在两个主要问题，包括忽略了依赖性任务特征的差异，导致训练过程收敛时间较长且在不同环境状态和训练阶段表现不稳定，以及未充分考虑智能体中网络参数的训练优化，从而导致整体系统性能下降。解决这些问题需要深入研究和创新，以提高移动边缘计算系统的性能和效率，以满足不断增长的移动应用需求。

技术实现思路

1、在移动边缘计算的依赖性任务卸载领域，面临的主要挑战包括高效处理任务依赖关系、提升卸载决策的效率、缩短系统执行时间，以及改善深度强化学习方法以适应不同的运行环境并优化训练过程。为应对这些挑战，本发明提出一种基于注意力多指标排序的终端能效优化卸载方法，核心在于利用基于注意力的多指标排序编解码器，进行移动边缘计算中依赖性任务卸载及能耗与时延优化，以改进任务优先级的判断和卸载决策的准确性。

2、本发明的技术方案如下：一种基于注意力多指标排序的终端能效优化卸载方法，包括步骤如下：

3、步骤1、从云层、边缘层到用户层的多层架构考虑，分析终端设备、边缘服务器和云服务器之间的交互，建立系统模型；所述系统模型包括网络模型、应用程序模型、通信模型和能耗模型；

4、基于系统模型考虑多覆盖边缘网络场景中的依赖性任务卸载问题，目标是最小化平均应用程序完成时间和最小化能耗；将卸载决策下的延迟和能耗相对于完全本地执行所有任务的延迟和能耗的降低程度视为卸载效用，同时考虑按照多样化的延迟和能耗需求为终端设备设置不同的延迟权重和能耗权重，并据此定义所有终端设备的平均卸载效用，同时为所有应用程序当中的任务进行标准化，设置唯一的虚拟开始节点任务与虚拟结束节点任务；

5、依赖性任务卸载问题优化目标旨在最大化所有终端设备的平均卸载效用，定义如下：

6、

7、

8、表示每个任务处理时的延迟与能耗的加权和，表示所有需要处理的任务总和，表示任务卸载与边缘服务器相关联的大小，表示某个终端设备，表示某个应用程序的子任务，表示某个边缘服务器，表示应用程序最晚截止时间，表示终端设备集合，表示某个应用程序，表示所有服务器集合，是最小化平均应用程序完成时间和能耗的平衡因子；是应用程序在本地执行的最大完成时间；是应用程序在本地执行的最大能量消耗；为卸载决策集合；表示某个任务的卸载动作，表示任务总数；约束c1表示任务只能卸载到所属终端设备关联的服务器；约束c2表示任务只能不可分割地在一个计算节点执行；约束c3表示应用程序结束时间约束；约束c4表示卸载决策变量的二进制约束的非负约束；约束c5表示应用任务当中唯一的虚拟开始节点任务和虚拟节点结束任务必须在终端设备本地执行；

9、步骤2、问题分析与转化；针对依赖性任务卸载问题，将其拆分成两个关键步骤进行求解；首先，基于系统模型建立依赖性任务混合优先级指标，解决依赖性任务内部的排序问题；构建基于注意力的智能体决策模型，对其进行基于改进的ppo训练，解决排序后的任务卸载决策问题；通过对构建的各个模型进行反复与环境交互的训练，不断优化卸载决策。

10、所述网络模型中，包括云层、边缘层和用户层三个关键层次；

11、所述云层为第一层关键层次，包含一个云中心数据中心；云中心数据中心存储所有服务，并具备计算能力，以支持终端设备；云中心数据中心用于训练和部署各个模型；

12、所述边缘层为第二层关键层次，包括多个基站和边缘服务器的组合；每个边缘服务器配置计算资源和存储资源；终端设备将应用任务卸载给边缘服务器；

13、所述用户层为第三层关键层次，包括终端设备；终端设备无法满足应用程序的计算和延迟要求时，将应用任务卸载到边缘服务器上；

14、终端设备通过无线连接与边缘服务器通信，边缘服务器之间通过有线连接传输数据，边缘服务器与云中心数据中心之间通过高速光纤链路连接；终端设备与云中心数据中心之间无直接连接，只通过边缘服务器进行通信和任务卸载；

15、将应用程序视为一组依赖性任务；在每个时隙内，终端设备生成依赖性任务；根据依赖性任务的相关信息、设备资源、电量情况以及边缘服务器环境状况，从而做出相应的卸载决策；

16、网络模型中存在个终端设备和个边缘服务器；终端设备集合表示为，终端设备的位置是在每个时隙开始时被随机分配的；终端设备的位置根据高斯马尔可夫随机模型进行移动；在同一时隙内，终端设备的位置不发生改变，终端设备的坐标位置被固定为，只在每个时隙的开始时进行更新，用cpu频率表示终端设备的本地计算能力，用表示终端设备的传输功率；边缘服务器集合表示为，其中，表示第个边缘服务器，边缘服务器的坐标被固定为；当一组终端设备连接到同一台边缘服务器时，边缘服务器出现卸载任务，并具备有线传输功能；每个终端设备都有一个应用程序，决定在哪个边缘服务器上执行任务；终端设备在任务执行期间只能与一台边缘服务器直接通信；执行卸载决策时需要考虑网络模型在不同时间的状态变化。

17、所述应用程序模型具体为：

18、考虑个终端设备在某一区域的随机位置，每个基站都有一定的覆盖范围，当终端设备在覆盖范围内，能够通过无线网络访问相应的边缘服务器；每个终端设备都有一个应用程序，在应用程序结束时间限制内执行；每个终端设备应用程序都是结构化的，每个应用程序当中的子任务都能够在任何边缘服务器上执行或者云服务器执行；每个应用程序建模为有向无环图，其中是任务节点的集合，是任务节点之间的有向边的集合；将每个应用程序上的任务节点集表示为；，表示应用程序的第个任务，是任务输入数据的大小，是完成任务所需的cpu周期数，设定任务的前驱任务集合，表示任务和前驱子任务之间的中间数据大??；每个任务卸载到能通信的边缘服务器以供执行；在有向无环图中，使用表示只有在任务完成后才能执行；任务之间的有向边的集合表示为，是任务之间的依赖关系，使得任务在任务开始之前完成；

19、卸载决策用于确定终端设备产生的依赖性任务分别交由终端设备自身还是通信范围内的某个边缘服务器进行处理，采用任务卸载变量来表示任务的卸载决策，其中，表示在本地执行任务，否则表示任务在边缘服务器执行，对于每个用户；因此，定义卸载决策集合为。

20、所述通信模型具体为：

21、在任务卸载到边缘服务器时，定义终端设备和边缘服务器之间的传输速率；

22、在任务卸载到边缘服务器的过程中，将任务卸载到边缘服务器的终端设备集合为，上行传输速率与下行传输速率相等；传输速率是指数据在终端设备与边缘服务器之间传递的速度；设定终端设备和边缘服务器之间的无线通信基于正交频分多址；将表示为终端设备和边缘服务器之间的数据传输速率，

23、

24、其中，为终端设备到边缘服务器的带宽,?为终端设备的传输功率，表示终端设备到边缘服务器的信道增益，，其中表示参考距离时的信道功率增益，是终端设备和服务器之间的距离，表示同样将任务传输到边缘服务器处理的终端设备信号对当前终端设备的干扰，表示高斯噪声功率；

25、本地通信处理延迟是指在终端设备上本地执行任务所需的时间，边缘服务器处理延迟是将任务从终端设备传输至边缘服务器进行处理所需的时间，根据以下定义进行优化本地通信处理延迟和边缘服务器处理延迟；

26、定义1：，其中，表示任务在本地执行的就绪时间，表示任务在边缘服务器上的就绪时间；

27、定义2：，其中，表示任务在本地执行的完成时间，表示任务在边缘服务器执行的完成时间；

28、首先，引入任务在本地处理的就绪时间，表示前驱任务结果全部到达终端设备的时间，当前驱任务在本地处理时，不存在中间数据传输延迟，在边缘服务器处理时，存在中间数据传输延迟表示为，表示中间数据大小，表示终端设备到服务器之间的传输速率；终端设备配置的cpu内核为个，每个cpu内核只能同时执行一个任务，每次在用户任务在本地执行的任务的最小完成时间为；，则该用户的cpu为空闲状态；因此，定义如下：

29、

30、其中，表示任务的前驱任务集合，任务只有在前驱任务完成后才能开始；任务在本地执行的处理时间为，表示终端设备处理计算任务能力的大小，表示任务?在本地处理的就绪时间，因此任务的完成时间为：

31、

32、终端设备任务卸载到边缘服务器上时，将有边缘服务器处理等待延迟，当任务到达并且有空闲的cpu内核处理任务时，任务从终端到服务器的时间表示为，任务在边缘服务器上的就绪时间定义如下：

33、

34、其中，将边缘服务器的cpu处理能力大小表示为，表示边缘服务器处理等待时间，边缘服务器执行任务的实际执行时间为，因此任务在边缘服务器上完成时间为：

35、

36、应用程序的总延迟为虚拟结束节点任务在本地的完成时间；将表示为应用程序的最后一个虚拟任务，并将表示为应用程序的开始的第一个虚拟任务，应用程序的完成延迟给出为：

37、。

38、所述能耗模型包括本地处理计算能耗、终端设备到边缘服务器传输能耗和边缘服务器到目标服务器传输能耗及处理等待能耗；

39、所述本地处理计算能耗如下：

40、

41、表示终端设备计算能耗系数；

42、所述终端设备到边缘服务器传输能耗如下：

43、

44、表示终端设备将任务传输到边缘服务器传输时延；

45、所述边缘服务器到目标服务器传输能耗及处理等待能耗如下：

46、

47、

48、其中，表示是终端设备在mec边缘服务器上执行任务时的等待功率；因此，最终终端设备消耗的总能耗为如下：

49、。

50、所述应用退出任务的次数为：表示任务退出任务的次数，?如果不是退出子任务，则，并进行归一化；

51、

52、表示应用程序内部总子任务的集合；

53、所述计算工作负载为：表示任务的计算工作量，然后定义表示计算工作负载，并进行归一化；

54、

55、表示应用程序内部当中某个任务计算工作负载大??；

56、所述时间紧迫性为：对于到达时隙的任务，使用来表示任务在时隙的时间紧迫性，并进行归一化；

57、

58、所述每比特的应用完成率为：表示用于衡量在传输或处理每比特数据的过程中成功完成应用的比例；

59、

60、表示应用任务内部某个子任务占总体应用中每比特应用完成率的大??；

61、基于上述任务优先级指标，获得每个时隙内完成应用数量最大的最优任务执行顺序；

62、

63、

64、其中，表示的直接后继集合，而；表示应用程序当中的所有子任务的前继任务集合；表示综合排序值的集合。

65、所述基于注意力的智能体决策模型用于提取排序后的任务之间的依赖关系，使用深度学习优化任务卸载决策；

66、将系统模型建模为时间离散系统，终端设备视为卸载代理；将依赖性任务卸载问题建模为一个马尔可夫决策过程，将深度强化学习应用于任务卸载问题；状态空间、动作空间和奖励函数定义如下；

67、状态空间：在调度任务时，mec系统的状态依赖于调度任务前面的任务的调度结果，同时也依赖环境信息进行交互；将状态空间定义为有向无环图信息、mec系统环境信息和部分卸载计划的组合；表示编码的有向无环图，表示从到的任务序列的卸载计划；状态空间表示为：

68、

69、其中，表示有向无环图信息，和分别是任务节点的集合和任务之间的有向边的集合；将每个应用程序上的任务节点集表示为；表示系统环境信息、表示有向无环图任务、表示卸载动作空间；

70、考虑到一个应用程序的有向无环图，其中是任务的集合，表示应用程序中的依赖关系；对于应用程序中的每个任务，使用来表示任务的特征；应用程序中所有任务的特征表示为：

71、

72、对于每个任务，特征维度的数量为2；使用邻接矩阵表示应用程序的邻接关系；任务的状态表示为，其中包括任务的特征和邻接矩阵的信息；

73、状态空间目标是输出一个任务级别的嵌入，其中是每个任务的嵌入维度，是由终端设备生成的任务数量，输入和；包含用户请求的应用程序的所有信息，的每一行代表任务的嵌入向量；

74、动作空间：一个任务被卸载到边缘服务器或在终端设备上本地执行；表示卸载到边缘服务器，表示本地执行任务；动作空间定义为；

75、奖励函数：优化目标是最大化卸载效用，在每一步定义奖励函数为卸载效用的估计增量：

76、

77、其中，是有向无环图中任务的平均延迟，是有向无环图中任务的能量消耗，定义为；表示延迟权重系数、表示能耗权重系数；

78、根据马尔可夫决策过程的定义，卸载问题转化为一个基于注意力机制的编解码器问题；输入排序后的任务序列，输出任务调度计划；策略表示在状态下选择动作用于任务的概率；表示在给定依赖图的mec环境信息和个任务的情况下获得卸载计划的概率；

79、定义为：

80、

81、设计一种基于注意力的智能体决策模型，逼近中定义的策略；将编解码器与注意力机制结合起来，逼近策略函数和价值函数，所述基于注意力的智能体决策模型包括策略神经网络与价值神经网络，将排序后的任务序列表示为，并将基于注意力的智能体决策模型中编码器的函数表示为，编码器的隐藏状态通过以下方式获得：

82、

83、其中，是编码步骤的隐藏状态，表示输入任务的任务序列，是编码器的参数；是基于注意力的智能体决策模型中解码器的函数；

84、解码步骤的解码器隐藏状态计算如下：

85、其中，是解码器网络的参数，表示前一时间步的注意力分布；是注意力机制的上下文向量，由编码器的隐藏状态的加权和定义如下：

86、

87、编码器的每个隐藏状态的权重通过以下方式计算的：

88、

89、其中，评分函数用于衡量编码器在位置处的输入与解码器在位置处输出的匹配程度，策略神经网络和价值神经网络除了解码器的顶层以外的其余网络层共享其余参数；对于策略神经网络，在解码器的输出上添加一个全连接层，并使用softmax函数将输出转换为关于动作的分布；对于价值神经网络，在上再添加一个全连接层，并使用输出来表示状态值；注意力机制编解码器的神经网络中共享的参数用于提取有向无环图中的共同特征，训练策略神经网络加速价值神经网络的训练；

90、每个任务的卸载决策是通过训练注意力机制编解码器的神经网络进行决策的；卸载过程的步骤概括为以下方式：

91、步骤一：然后，将排序后的任务嵌入为一个向量序列，作为编码器的输入状态信息；接下来，编码器的输出序列用于计算上下文向量；在第步解码中，通过来生成卸载决策；

92、步骤二：终端设备和边缘服务器协同完成根据卸载决策执行所有任务；

93、首先训练目标是找到一个最优策略，使长期累积奖励最大化，具体定义为：

94、

95、其中，是注意力机制编解码器的神经网络的参数，是有向无环图的任务数量，是奖励函数，和分别是第个任务的观察状态和卸载决策；训练的目标是通过调整参数，使长期累积奖励最大化。

96、所述基于改进的ppo训练，具体如下；

97、在训练基于注意力的智能体决策模型时，整个训练轨迹被分成序列，然后输入到改进的ppo网络中；训练轨迹包括调度计划和状态值序列，首先从环境中采样，状态值序列是通过对排序后的任务序列进行前向传播获得；通过将调度计划应用到环境中，获得奖励序列；

98、时间步的误差项定义为：

99、

100、表示时间步的即时奖励、表示折扣因子、表示在状态策略下，预期能够获得的总回报；

101、使用广义优势估计器获得时间步的优势，定义如下所示：

102、

103、其中，用于控制偏差和方差之间的权衡；

104、训练第一阶段，生成两种不同的基于注意力的智能体决策模型，使用相同的随机参数进行初始化，一种用于采样，一种用于更新采样神经网络；在每个循环训练中，用于采样的基于注意力的智能体决策模型采样一组训练轨迹，并将其存储在经验缓存区中，计算并存储优势函数序列和估计状态值序列；包括任务嵌入序列、采样的调度计划、奖励序列、采样的状态值序列、优势函数序列以及估计的状态值序列；

105、训练第二阶段，通过对进行个时期的目标函数

106、，小批量随机梯度下降改进更新用于更新的基于注意力的智能体决策模型；为剪切目标函数；为平方误差损失函数；表示在当前策略下，在状态下策略的熵；和是系数；

107、所述剪切目标函数定义为：

108、

109、其中，是用来控制剪切范围的超参数；为策略概率比率：

110、

111、剪切函数目的为限制的值，将剪切后的目标最小值和未剪切的目标最小值，二者取最大值作为最终目标；

112、所述平方误差损失函数是预测状态值和目标状态值之间的平方误差损失：

113、

114、其中，。

115、本发明的有益效果：本发明通过综合考量包括退出任务频率、计算工作负载、时间紧迫性及每比特应用完成率等多个关键因素，为每个任务制定更为精确的优先级。这种方法能够更有效地识别和处理任务之间的依赖关系，显著提高任务调度的效率和准确性，从而减少终端设备的时延和能耗。

116、针对现有技术在任务特征提取和卸载决策效率上的不足，本发明采用了图卷积网络和注意力机制。从任务的有向无环图中提取关键特征，而注意力机制则使模型在训练过程中专注于更重要的信息，减少无关信息的干扰。此外，通过引入熵奖励概念，本发明确保了更有效的探索和决策，加快了模型训练的收敛速度和稳定性。这些创新点加速了卸载决策过程，提升了整体系统性能。

117、本方法不仅改善了任务优先级的确定和卸载决策的效率，而且通过精确的任务特征提取和有效的训练机制，显著提升了整体系统性能，更好地满足了5g时代对移动服务高效能和低时延的需求。