一种用于分层联邦学习的设备选择和带宽分配系统、方法

本发明涉及分层联邦学习领域，尤其涉及一种用于分层联邦学习的设备选择和带宽分配系统、方法。

背景技术：

1、随着相关隐私?；ふ叩姆⒉家约叭嗣且奖；ひ馐兜奶岣?，用户数据中的隐私安全愈发受到重视。因此，联邦学习应运而生，并且已经成为物联网环境中智能应用的一种有吸引力的技术。在传统的机器学习方法中，数据通常被集中存储在一个中心服务器上进行训练，这样的集中化模式可能会泄露敏感信息并引发安全风险。联邦学习作为一种分布式机器学习方法，允许在?；び没б降耐苯心Ｐ脱盗?。

2、目前的解决方案是采用分层联邦学习框架，通过将模型聚合部分地从云迁移到边缘服务器来减少通信负载，作为减少传输开销的解决方案。然而在分层联邦学习中，终端设备扮演重要角色，负责对本地数据进行预处理、计算和聚合。不同的终端设备可能具有不同的计算能力和传输带宽，如果某些终端设备性能较差或网络带宽较低，那么他们在预处理和聚合阶段可能会显著地拖慢整个训练过程，最终落后的终端设备可能会对整个过程造成显著的减速。一方面，选择具有低计算能力的终端设备参与通信，可能会使完成预聚合的阶段花费更长的时间,这种情况可能会对分层联邦学习的效率产生更多的负面影响。另一方面，边缘服务器的下行链路由其覆盖的终端设备共享，不适当的网络带宽分配可能使所选终端设备遭受高更新上传延迟，增加出现掉队终端设备的概率，最终导致整个训练性能的下降。

技术实现思路

1、针对现有的高度分布式环境所面临设的挑战，为了保证联邦学习的效率和性能，本发明提出一种用于分层联邦学习的设备选择和带宽分配系统，所述系统包括配置云服务器、边缘服务器、终端设备的设备选择?？楹痛矸峙淠？?，终端设备被相应的边缘服务器覆盖；

2、所述设备选择?？橛糜谘≡裰斩松璞?；

3、所述带宽分配?？槲谎≡竦闹斩松璞阜峙浯?；

4、设备选择?？檠≡竦闹斩松璞付阅Ｐ徒斜镜匮盗?，获得本地更新，并计算被选择终端设备的本地训练时间；

5、所述边缘服务器将覆盖的被设备选择?？檠≡竦闹斩松璞阜⑺偷谋镜馗陆性ぞ酆?，得到预聚合结果，并计算本地更新传输时间；

6、所述云服务器接收边缘服务器上传的的预聚合结果用以更新全局模型，并计算预聚合结果上传时间；

7、根据被选择终端设备的本地训练时间、本地更新传输时间、预聚合结果上传时间，计算模型的总训练时间，在模型的总训练时间最小化和数据多样性的约束下进行设备选择和带宽分配。

8、进一步地，被选择终端设备的本地训练时间表示为：

9、

10、其中，为边缘服务器e覆盖的终端设备i在第k训练轮中的本地训练时间，τ为终端设备的本地训练进行的迭代次数，代表每个终端设备需要迭代更新τ次才能进行聚合，de,i表示边缘服务器e覆盖的终端设备i的本地数据集，|de,i|表示边缘服务器e覆盖的终端设备i的本地数据集的数据样本的数量，te,i来代表边缘服务器e覆盖的终端设备i的本地数据集中每个数据样本在边缘服务器e覆盖的终端设备i上训练本地更新的时间，e表示所有边缘服务器集合，ie表示边缘服务器e覆盖的所有终端设备集合，k表示模型的总训练轮数。

11、进一步地，本地更新传输时间通过带宽分配比参数和所属边缘服务器下行带宽来衡量，具体表达式为：

12、

13、

14、其中，表示边缘服务器e覆盖的终端设备i在第k训练轮中的本地更新传输时间，ξ表示本地更新的规模，为边缘服务器e的下行带宽，表示带宽分配比，ie表示边缘服务器e覆盖的所有终端设备集合，e表示所有边缘服务器集合，k表示模型的总训练轮数。

15、进一步地，预聚合结果上传时间表示为：

16、

17、其中，表示边缘服务器e在第k训练轮中上传预聚合结果的时间，ξ表示本地更新的规模，代表边缘服务器e和云服务器之间的网络带宽。

18、进一步地，模型的总训练时间最小化表示为：

19、

20、

21、其中，tk表示第k轮次的训练时间，k表示模型的总训练轮数，为边缘服务器e覆盖的终端设备i在第k训练轮中的本地训练时间，表示边缘服务器e覆盖的终端设备i在第k训练轮中的本地更新传输时间，表示边缘服务器e在第k训练轮中上传预聚合结果的时间，表示边缘服务器e覆盖的终端设备i是否在第k训练轮中实际被选择，被选择取值为1，否则取值0，ie表示边缘服务器e覆盖的所有终端设备集合，e表示所有边缘服务器集合。

22、进一步地，设备选择?？檠≡裰斩松璞甘辈捎没谛槟舛恿械纳璞秆≡袼惴?，终端设备的选择被抽象为队列长度更新，具体为：

23、初始化每个终端设备的虚拟队列长度，在每个训练轮开始时，终端设备以虚拟队列的长度降序排序；

24、通过贪心算法选择最高队列长度的m个终端设备；

25、在每个训练轮次结束时，根据虚拟更新规则对虚拟队列长度进行更新；

26、根据虚拟更新规则对虚拟队列长度进行更新表示为：

27、

28、其中，表示边缘服务器e覆盖的终端设备i在第k+1训练轮的虚拟队列长度；表示边缘服务器e覆盖的终端设备i在第k训练轮的虚拟队列长度；表示边缘服务器e覆盖的终端设备i是否在第k训练轮中实际被选择，被选择取值为1，否则取值0；βe,i表示边缘服务器e覆盖的终端设备i的预期保证参与率；

29、当训练过程中各个虚拟队列的长度保持稳定，数据多样性约束成立，重复上述过程，直到模型的全局损失满足要求。

30、进一步地，带宽分配?？榛诙炙阉鞯拇矸峙渌惴ㄎ谎≡竦闹斩松璞阜峙浯?，具体为：

31、初始化搜索区域其中，设置预期时间te，te表示上传到边缘服务器e的更新的完成时间，预期时间被初始化设置为

32、其中，表示上传到边缘服务器e的更新的完成时间的下界，表示上传到边缘服务器e的更新的完成时间的上界，为边缘服务器e覆盖的终端设备i在第k训练轮中的本地训练时间，表示第k训练轮边缘服务器e覆盖的终端设备的集合；

33、终端设备所属边缘服务器的所有终端带宽占比例之和在[1-δ,1]之间，则分配带宽合理，如果比例之和小于1-δ则带宽分配过大，如果比例之和大于1则带宽分配过小，其中，δ是一个超参数，用来调整带宽分配比率的阈值。评估每个边缘服务器的带宽利用率，并且进行多次二分搜索，根据带宽利用率选择更好带宽分配策略，并将其进一步分割至搜索区域减半，最终达到一个满足精度要求的最佳带宽分配。

34、本发明还提出一种用于分层联邦学习的联合设备选择和带宽分配方法，基于上述的系统实现，包括：

35、利用设备选择?？檠≡裰斩松璞?；

36、利用带宽分配?？槲谎≡竦闹斩松璞阜峙浯?；

37、利用设备选择?？檠≡竦闹斩松璞付阅Ｐ徒斜镜匮盗?，获得本地更新，并计算被选择终端设备的本地训练时间；

38、发送所述本地更新到被选择的终端设备相应的边缘服务器进行预聚合，得到预聚合结果，并计算本地更新传输时间；

39、将预聚合结果上传到云服务器用以更新全局模型，并计算预聚合结果上传时间；

40、根据被选择终端设备的本地训练时间、本地更新传输时间、预聚合结果上传时间，计算模型的总训练时间，在模型的总训练时间最小化和数据多样性的约束下进行设备选择和带宽分配。

41、本发明提供的技术方案带来的有益效果是：

42、本发明提出了一种用于分层联邦学习的设备选择和带宽分配系统和方法，系统包括配置云服务器、边缘服务器、终端设备的设备选择?？楹痛矸峙淠？?，在模型的总训练时间最小化的约束下，带宽分配?？榻写矸峙?；在数据多样性的约束下，设备选择?？榻猩璞秆≡?。设备选择?？檠≡裰斩松璞甘辈捎没谛槟舛恿械纳璞秆≡袼惴?，带宽分配?？榛诙炙阉鞯拇矸峙渌惴ㄎ谎≡竦闹斩松璞阜峙浯?。有效地解决了原有的分层联邦学习中设备选择和带宽分配问题，为提高训练性能和保证数据多样性和模型准确性提供了一个创新方案。