基于联邦学习的工业互联网平台研究

张陆洋， 连 瑾， 袁雅芬

（信通院工业互联网创新中心（重庆）有限公司， 重庆 400000）

0 引言

工业互联网中的数据分散在不同设备、工厂、企业或地域，具有异构性和动态性。传统中心化模型训练方法要将大量数据传输到云端或中央服务器，面临传输开销、安全风险和法规问题。这在工业应用中尤为突出，数据分布难集中，且工业数据敏感。因此，对数据安全和隐私保护的需求限制了传统方法。联邦学习是解决方案之一。

近年来，联邦学习逐渐成为应对工业互联网平台数据安全与隐私问题的有效方法。在工业平台中，传统的集中式数据建模方法存在明显问题。首先，需要传输大量敏感数据至中央服务器进行模型训练，可能导致信息泄露风险；第二，这样的传输造成巨大通信开销，尤其涉及众多设备和工厂；第三，分布于各设备、工厂和地点的数据难以集中分析；最后，依赖中央服务器存在单点故障风险，可能导致生产中断和数据丢失；最后，受限于传输和处理时间，集中式模型难以满足实时更新和调整需求。

联邦学习与传统模型不同，它在分布式边缘设备（客户端）上完成协作训练。在这种模式下，原始数据不需传输至中心节点。模型在各设备本地训练，中心服务器通过联邦平均（FedAvg）[1]算法聚合本地训练的模型参数，更新全局模型。经过多轮迭代，获得高精度的ML 模型，以提供准确预测或识别服务。这种方式允许节点间地理分布的协同训练，保护数据隐私[2]。近年来，联邦学习在无线边缘网络中得到了深入研究和广泛应用，得益于其内生安全的特性[3-5]。对工业互联网而言，它提高数据利用率，为智能模型训练提供解决方案。

因此，研究联邦学习在工业互联网中的应用，探讨如何在保护数据安全和隐私的前提下实现数据共享。通过深入研究，为工业领域提供更安全、更隐私的数据分析与建模解决方案，推动工业互联网向智能化转型。

1 国内外研究现状

联邦学习是多个参与方合作训练模型的方式，保留数据在本地，同时确保数据控制权[4]。在工业互联网中有广泛应用，如智能制造、智能电网和智能交通。但也存在隐私和安全方面的挑战，如数据或参数泄露、来自不可信方的攻击、不同参与方数据异构性等。

一方面，学者们致力于探索如何选择参与联邦学习的设备以及优化协同训练过程[5]。通过增加每个联邦学习轮次中参与设备的数量，可以提高模型的收敛速度。一些研究者通过利用无线多址信道的叠加特性，致力于最大化每轮联邦学习中参与设备的数量[6]。然而，大量参与的设备会导致通信成本过高，因为需要传输过多的参数。因此，学者研究算法和优化方法，灵活选择设备，提升联邦学习的收敛速度[6]。

另一方面，研究关注数据隐私保护机制，确保模型训练不泄露敏感信息[7-8]。包括加密、差分隐私和去中心化聚合等。例如，一些研究者提出了隐私保护的分布式学习系统，参与者选择性共享梯度，保护数据隐私[8]。然而，这种方法在面对主动攻击者时可能存在安全性问题。因此，其他研究者提出了基于安全多方计算和同态加密等方案，以支持联邦学习中的安全聚合[9]。然而，这些方案通常需要在每次聚合中进行多次通信，增加了通信负担[10-11]。近期的一些工作提出了一种委托解密操作给参与者的方法，以减轻通信负担。然而，这些方案仍然面临着密钥共享等隐私的问题。因此，仍需设计非交互且隐私保护的联邦学习，防止局部梯度和共享参数泄露，满足工业互联网数据安全和隐私需求。

2 整体架构设计与应用场景

通过文献研究、对比分析、模型推演等方法对联邦学习在工业互联网平台上的应用进行探索分析，重点对“多边”协同训练的三层网络架构的联邦学习模型、模型在工业互联网平台上的部署进行研究设计。

2.1 联邦学习机制设计

联邦学习（Federated Learning，FELE）是一种打破数据孤岛、释放AI 应用潜能的分布式机器学习技术，能够让联邦学习各参与方在不披露底层数据和底层数据加密形态的前提下，通过交换加密的机器学习中间结果，实现联合建模。为在分布式工业互联网中实现高效的联邦学习，提出了一种“多边”协同训练的三层网络架构。该架构由端层、边缘层和云层组成，每层分别具有特定的功能属性，如图1 所示。

图1 工业互联网中联邦学习运行机制

端层即联邦学习中参与的工业互联网节点。这些节点分布在世界各地的工厂、车间和生产线中。这些节点通常由本地设备组成，可以是工业智能设备（如AGV、工业机器人）和感知监控硬件（如智能网关、传感器），或其他具有计算能力的终端。每个本地设备都管理自己的数据和模型，在指定的算法下进行本地训练。

边缘层是指位于网络边缘的本地设备，如边缘计算节点、边缘服务器等。它们在地理上连接不同基站，形成边缘算力池，为工业互联网节点提供数据处理、转发和存储服务。这些设备通常位于接近用户或数据源的位置，具备一定的计算和存储能力。每个基站都配备了边缘服务器，用于执行模型参数聚合，称为边缘聚合。此外，在边缘服务器上安装了边缘控制器，以管理覆盖区域的网络资源，支持联邦学习的协作运行。通过在边缘层设备上进行模型训练，可以减少数据传输和延迟，提高响应速度并增强隐私保护。

云层在联邦学习中是指参与的中央服务器或云端平台。在联邦学习中，云层的作用是协调和管理，负责组织、控制和模型聚合的整个过程。云层基于联邦学习的工业互联网数据隐私保护方法。模型聚合是指在多次边缘聚合后进行的全局参数聚合，旨在实现全局模型参数的更新。云层在联邦学习中具有以下主要功能：协调与通信，云层与本地设备进行通信，收集各个本地设备训练的模型更新，并向本地设备发送全局模型参数和训练指令。全局模型聚合，云层接收来自本地设备的模型更新，使用一定的聚合算法（如加权平均）将这些更新合并成全局模型。在云端执行模型参数聚合称为云聚合。此聚合过程旨在提取各本地设备共享的关键特征，将其反映在全局模型中。算法优化，云层也可参与模型更新的调整与优化。例如，微调或优化全局模型，以提升其性能。模型发布与应用，云层将训练完成的全局模型发布给用户或应用程序。用户通过云层访问和应用这些模型，获得联邦学习的优势，同时保护数据的隐私和安全。

联邦学习采用多边协同的方式进行，涉及云端服务器、边缘端服务器以及工业设备。具体步骤如下：

1）在端节点上使用分布式机器学习方法进行模型训练，得到本地训练模型。

2）将本地训练模型上传到边缘服务器或云服务器进行参数交替聚合。

3）参数服务器将聚合后的全局模型（初始模型）发送回客户端。

4）客户端使用本地数据更新模型，并将新模型发送回参数服务器。

5）参数服务器收集部分客户端模型，将其聚合为下一次迭代的全局模型。

与传统模型不同，联邦学习在端节点进行本地模型训练，边缘服务器或云服务器进行参数交替聚合。只有少量模型参数在边缘和云之间传输，避免了上传原始数据到中心节点，节省了带宽资源开销，同时满足了工业数据隐私保护需求。

2.2 架构设计

2.2.1 物理架构

物理架构是指基于特定平台或系统的硬件组成和布局方案。包括服务器物理架构、数据中心物理架构、嵌入式系统物理架构、云计算物理架构四大方面。如图2 所示。

图2 物理架构

1）服务器：其包含服务器硬件组件，如处理器、内存、存储设备、网络接口等，并采用如以太网、光纤通信等将服务器相互连接。

2）数据中心：其包含数据中心内的各种硬件设备，包括服务器、网络交换机、存储设备、冷却系统等。在数据中心物理架构中，通常会考虑高可用性、容错性和可扩展性等因素。

3）嵌入式系统：其包含嵌入式设备的处理器、内存、存储器、传感器、显示屏等硬件组件，并考虑功耗、尺寸、散热等方面的特殊需求。

4）云计算：其包括云数据中心的服务器、网络设备、存储设备等，并考虑到弹性扩展、负载均衡、可靠性等方面的要求。

2.2.2 应用平台架构

基于联邦学习构建工业互联网平台架构，分为四个层次：应用层、ML 核心组件层、安全协议层和基础层，具体见图3。该平台旨在提供基于数据隐私保护的分布式安全计算框架，支持机器学习、深度学习等算法的高性能安全计算，以及同态加密、秘密共享等多种安全计算协议，确保数据和模型的安全。

图3 平台架构设计

第一层是平台应用层，包括云服务、任务调度管理和生命周期管理等功能。用户通过平台使用云资源，进行模型算法管理、资源分配、数据监控等任务调度，以及算法任务和运营管理等生命周期服务应用。

第二层是平台的ML 核心组件，包括水平联邦学习、垂直联邦学习等。水平联邦学习支持共享相同特征空间的数据集，垂直联邦学习支持共享相同样本空间的数据集，而联邦迁移学习则适用于不同样本和特征的数据集。

第三层是平台的安全协议，涵盖同态加密、FedAvg、RSA 等算法。通过这一层，用户可以在保护隐私和数据安全的前提下协作训练机器学习模型。其中，FedAvg 是一种基于梯度平均的联邦学习算法，允许在分布式环境下训练机器学习模型。RSA 是一种非对称加密算法，用于数据保护。

第四层是基础层，可以划分为计算框架（如Ten sorFlow、Pytorch、Spark）、消息队列协议和存储框架。该层支持一系列的联邦学习架构和安全计算算法，包括逻辑回归、决策树、梯度提升树、深度学习和迁移学习。

2.2.3 联邦学习在工业互联网上的应用场景

1）场景一：智能制造场景。在预测性维护、资源优化和制造过程优化等场景中，联邦学习协调多个设备或传感器的数据，通过本地模型训练实现设备故障预测、资源使用优化以及生产过程改进。各设备共享模型更新和经验，提升整体系统可靠性和效率。

2）场景二：安全与风险管理。联邦学习应用于工业互联网的安全监测和风险管理。通过共享和分析安全事件和数据，联邦学习有助于检测和预防潜在的安全漏洞，提供实时的风险管理和响应机制。

3）场景三：质量控制与监控。联邦学习用于联合监控和质量控制，改进生产过程中的产品质量。通过协同分析多个设备的传感器数据和工艺参数，提供更准确和可靠的监测结果，同时降低数据共享引起的隐私风险。

3 结语

在理论层面上，引入联邦学习为解决工业互联网平台中数据隐私保护与跨设备协作之间的矛盾提供了新的方法。在数字化时代，隐私问题凸显，传统的集中式数据处理面临数据泄露和隐私风险。联邦学习兼顾数据隐私需求，通过本地设备上的模型训练，仅传输模型参数，实现设备间数据共享与合作，寻找隐私保护与数据协作的平衡。

在实际应用中，基于联邦学习的工业互联网平台提供切实可行的解决方案。首先，通过本地模型训练和仅传输模型参数，联邦学习有效保护原始数据隐私，确保工业数据的安全性。其次，分布式特性减少通信开销，提升数据处理效率和实时性，适应工业生产需求。此外，促进不同实体间的数据合作，推动工业互联网平台多方合作和创新，有助跨行业融合。重要的是，基于联邦学习的研究推动传统行业数字化转型，使工业互联网平台更快向智能高效方向发展。