网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于迁移学习的造纸断纸故障诊断方法研究

  • 宋理敏 1
  • 高贵军 2
  • 何正磊 3
1. 山西机电职业技术学院,山西长治,046011; 2. 太原理工大学机械与运载学院,山西太原,030024; 3. 华南理工大学制浆造纸工程国家重点实验室,广东广州,510640

中图分类号: TS736

最近更新:2024-12-20

DOI:10.11980/j.issn.0254-508X.2024.12.020

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

本课题面向断纸故障标记数据短缺而生产工况切换较多,故障诊断建模复用困难的问题,提出了分别基于参数和特征的断纸故障迁移模型建模方法,通过分析定量设定值及其强相关变量的数据分布特征,对工业数据进行了基础工况划分,并以马氏距离、多核最大均值差异等距离函数评估验证了工况划分的可靠性。在所划分的工况数据基础上,将依据有效断纸故障数据较多的工况建立的断纸故障模型迁移至数据缺失的工况中。结果表明,建立的故障诊断迁移模型在不同的工况迁移任务中分别达到了98.3%、94.6%、96.4%的诊断准确率,提高了模型的泛用性,促进其面向不同的造纸生产过程进行更广泛和更精确的故障诊断。

纸是人们日常生活中不可或缺的必需[

1],造纸工业也是我国重要的支柱产业之一。但在抄纸过程中,受浆料性质、化学品的使用、造纸工艺环境、设备状态等多种因素影响,纸张生产过程的稳定性较差,严重时甚至引起断纸故障,造成生产线的非计划停机,影响产品质量和生产效[2]。作为重要的流程工业,为避免单一环节故障问题导致整体过程系统的崩溃,造纸企业迫切寻求在故障发生时可迅速定位到故障发生位置、分析故障发生原因、支撑排除故障、降低故障对生产过程的影响并减少损失的方案方[3]。生活用纸因其产品特性,强度低于其他纸产品;因此,在造纸过程中断纸故障发生的风险相对更高,对断纸故障诊断的需求更高。

故障诊断是流程工业和过程系统工程领域中的一个重要研究方向,涉及对系统、设备或过程的监测和分析,及时发现异常情况并进行维护或优化。随着技术的发展,故障诊断已经从传统的基于经验的方法转变为基于工业互联网和“大数据[

4]的数据分析和机器学习技术的智能诊断。然而,深度学习应用于工程实际的故障诊断中存在一个显著的现实挑战,即由于发生故障的时间远小于正常工作的筛检,使正常运行数据与故障数据间存在数据不平衡的问题,故障发生的现场数据样本稀缺,特别是面向多种不同工况和有标签的故障样本稀缺。由此,相关研究引入了迁移学习,通过将诊断知识从一个或多个相关的诊断任务迁移运用到其他任务中,降低对标记数据的需[5]

迁移学习可实现减少对大量标记数据训练机器学习诊断模型的依赖,从而推动所建立的故障诊断方法更广泛地应用于现实的工业工程场景[

6]。在工业领域中,有研究将多组件容易同时发生故障且存在多故障信号的故障模式定义为故障耦合,通过分别使用最大均值差异减少模型假设空间,并设计域对抗训练方法以增强特征表示,在域错配故障诊断实验中实现了故障诊断转移效[7]。引入迁移学习方法还可以减小核电厂不同功率级工况之间的特征分布差异,为解决不同功率水平下概率分布不一致导致的泛化能力差问题提供了可行方[8]。将基于最大均值差异的分布差异附加到卷积神经网络的目标函数中,可以减少源域和目标域提取特征的域差异,提高目标域诊断精度和模型的泛用性。这一方法被应用到了高维强非线性复杂核电站仿真数值实验中,结果表明,在大多数转移任务中,目标域的诊断精度均能得到显著提[9]

基于上述研究背景和现状,本课题提出一种基于迁移学习的生活用纸造纸过程多工况故障诊断模型。根据关键过程参数,将实际生产过程细分为不同的生产工况,将机理分析与数据分析相结合,针对数据较为全面的常用工况构建诊断模型,并在诊断模型的基础上引入迁移学习方法,对模型进行面向多个目标域工况的更新泛化,提高模型的泛用性,使其可以应用于更多的生产过程与实际应用场景。

1 纸机运行工况分析

通过采集某生活用纸厂的实际生产运行数据,对生活用纸断纸故障进行综合分析;对数据中存在缺失、异常值等问题,利用皮尔森相关系数法和归一化法对其进行清洗,以纸机运行数据中断纸信号来判断纸机运行状态,断纸信号同时包括了计划停机信号和故障断纸信号;筛选出如换刀、停机设备清洗等场景下的人为停机数据。

考虑到多工况数据差异较大的情况,对造纸机运行关键过程参数进行了分析,根据生产过程的定量设定值变化对不同的生产过程进行了划分,并根据其他关键过程变量对同类工况进行了合[

10]。生活用纸造纸过程中,不同的工况差异主要取决于产品差异,进而导致不同的过程工艺参数的设定值差异。因此,可以通过分析运行数据的分布对工况进行近似划分,合并数据分布相近的工况,并对数据分布存在一定差异的情况进行工况区分,如图1所示。

图1  工况子集切分示意图

Fig. 1  Diagram of working condition subset segmentation

根据纸机定量设定值的变化,对采集到的数据集进行切分,得到3种不同工况共6个不同时序数据子集,并就定量与对生产过程的影响较强的变量之间的相关性进行分析。

通过对工况数据进行初步切分后,本课题根据上缸定量、纸机车速、长纤占比、上浆流量等与工况相关性强的参数变量对相近的样本集进行了聚合。为便于观察,数据集按照纸机定量设置值的范围区间进行重新排列,其多样本集的不同参数变量数据分布如图2所示。在各个样本子集中,上缸定量值与纸机定量设定值的相关性最强,是工况划分与合并过程的有力依据。从图2(a)可以看出,上缸定量的整体数值分别在10.8和12.1 g/m2的附近。

图2  基于定量设定值相关性较高的上缸定量、纸机车速、长纤维占比、上浆流量分布箱线图分析得出的工况划分示意图

Fig. 2  Diagram of working condition division based on boxplot of weight, paper machine speed, long fiber proportion, and sizing flow distribution

在生产过程中,纸机定量设定值与纸机车速关系密切。从图2(b)可以看出,纸机车速的参数分布与上缸定量呈负相关关系,纸机车速越高,上缸定量值越低。同样,结合纸机车速的分布状况,可以将子数据集合并为不同的工况集合。在工况划分时,不同种类的纸产品是重要的参考依据,而不同产品的纸浆原料的长纤维占比可能会有所差异。由图2(c)可以看出,长纤维占比处于不同的分布区间,且区分较为明显,根据不同的长纤维占比范围,可以进一步将工况划分为不同的工况类别。从图2(d)可以看出,在生产过程中,各个参数之间互相影响,相较于其他参数变量,上浆流量的变化较小,大部分处于3.4~3.8 m3/s的区间内。除少数数据集外,整体的数据分布差异较小,因此对于数据集的工况划分主要依据上缸定量、纸机车速及长纤维占比这3个参数变量来进行综合分析。

对现有的数据集进行拆分与重组,并最终得到如图2所示的7种不同的生产工况。图中对不同的工况采用了不同的颜色进行标记。在现有的实际生产数据集中,数据量最多的前3种工况,即标记为绿色、橙色及紫色的3种工况占据了整个造纸生产过程的主体。因此,将这3种工况分别设定为工况A、工况B以及工况C,其中工况A的断纸故障数据较全面,进而通过迁移学习实现工况A断纸故障数据建模向工况B和工况C的迁移应用。

2 迁移模型

本课题基于前期研[

11],面向工况A建立了基于堆栈自编码器(stacked autoencoder,SAE)和Softmax分类器的断纸故障诊断模型。通过将模型与迁移学习相结合,提取数据特征,本课题分别采用参数迁移和特征迁移2种不同的迁移方法,将在具有足量数据工况A下训练得到的模型迁移到新的工况中,以提高故障诊断模型的泛用性和适用范围。主要建模实验过程如图3所示。

图3  迁移故障诊断流程

Fig. 3  Flowchart of transfer learning fault diagnosis

2.1 基于参数迁移的故障诊断

为实现在不同工况下的纸机断纸故障诊断,本节建立的参数迁移模型整体框架包含特征提取层和故障分类层,其中模型的特征提取模块的参数由源域数据训练得到,将得到的参数和权重进行冻结,并采用目标域中的样本对分类层结构参数进行微调后,将模型用于目标工况的故障诊断,其模型结构如图4所示。

图4  参数迁移过程示意图

Fig. 4  Schematic diagram of the parameter transfer process

参数迁移将在源任务上训练好的模型参数应用到另一个任务上,加速目标任务的学习过程,提高模型的性能。参数迁移将预训练模型的特征提取层的一部分用于目标任务的特征提取,冻结这部分的参数使其不参与迭代更新;微调是在预训练模型的基础上,继续训练模型,使模型在目标任务中有更佳的表现。微调过程一般仅需要较少的样本。虽然不同工况下纸机的工艺参数设定有所不同,但基于同纸机设备的运行数据的参数与数据特征会存在一定的相似[

12]。通过特征提取网络来提取数据间的共性知识,并利用微调的方式使模型适应目标域的数据集,从而实现模型迁移。将源域数据和目标域的少量样本输入到分类网络中,网络结构、参数与参考文献[11]所构建的网络保持一致,其诊断框架如图5所示。

图5  参数迁移故障诊断流程图

Fig. 5  Flowchart of parameter transfer fault diagnosis

在源模型训练阶段,将工况A的纸机运行监测数据及断纸故障标记数据作为源域数据并训练,目标工况B和工况C的数据则作为目标域数据,划出小部分作为微调样本,其余数据用于模型测试。在模型迁移阶段,将源网络的特征提取模块的参数权重迁移到目标网络模型中,用以提取目标域的参数特征信息,并将初始化后的目标模型的分类层应用于故障分类,构建参数迁移故障诊断模型。在模型微调阶段,对于目标域模型,冻结其特征提取层,并利用微调样本分类层进行参数微调。最后,对模型应用效果进行验证,利用微调后的目标模型对目标域的测试样本进行诊断,评估迁移故障诊断模型效果。

2.2 基于特征迁移的故障诊断

基于特征的迁移方法在最小化源域和目标域之间的特征分布差异,更新网络参数学习域不变特[

13]。为验证域自适应方法在跨工况断纸故障诊断的应用可能性,将特征迁移方法与上文所提及的故障诊断模型进行结合,构建基于特征迁移的诊断模型,其过程如图6所示。

图6  特征迁移过程示意图

Fig. 6  Schematic diagram of the feature transfer process

领域自适应是特征迁移学习的主要方法之一,应用于源域数据和目标域数据的样本特征空间相同,但概率分布有差异的情形,其主要思路是将不同领域的数据特征映射到同一个特征空间,这样可利用其他领域数据来增强目标领域训练,域自适应示意图如图7[

14]

图7  域适应示意[

14]

Fig. 7  Schematic diagram of domain adaptation[

14]

进行有效域自适应的前提条件是能准确度量源域和目标域之间的差异。深度学习方法中的自适应层可实现源域和目标域数据的自适应匹配,自适应过程使源域和目标域的数据分布更接近,从而提高网络的分类效果,而自适应方法的选取则决定了模型的泛化效果。KL散度(kullback-leibler divergence)、马氏距离、最大均值差异(MMD)、多核最大均值差异(multiple kernel maximum mean discrepancy,MK-MMD)等均可以充当距离函数度量。作为常用的度量方法,MMD将向量映射到再生希尔伯特空间中,计算2个概率分布PQ在该空间中的分布距离,给定由PQ采样生成的样本集XY,其MMD距离为XY在映射到再生希尔伯特空间H后的期望差异,MMD计算如式(1)[

9]

MMDP,Q=1mi=1mϕxi-1nj=1nϕyjH (1)

式中,xi表示样本集X中的第i个样本;yj表示样本集Y中的第j个样本;mn分别表示样本集XY的样本个数;ϕ表示特征映射函数。

基于深度特征迁移理论,可通过引入不同的距离度量方法将不同工况的数据集映射到同一特征空间,使源域和目标域的数据在这个特征空间内达到相似的分布。其算法具体流程如图8所示,包含模型训练及模型应用2个模块。

图8  特征迁移故障诊断流程图

Fig. 8  Flowchart of feature transfer fault diagnosis

3 实验结果与分析

3.1 基于参数迁移的断纸故障诊断模型

在上文工况划分阶段,根据定量参数将生产运行数据分为多种不同工况,同时在不同工况的数据基础上分别进行建模,其中工况A的数据量最大,工况B的数据量次之,工况C的数据量最少。以数据量较大的工况数据为源域,以数据量较低的工况数据为目标域,实验跨工况的断纸故障诊断方案。本实验设置A→B,A→C及B→C 3种迁移学习任务,将其分别设为任务1、任务2及任务3,并分别基于参数迁移和特征迁移方法,验证所构建的迁移学习模型的可行性。

对于源域模型与目标域模型,沿用前期研[

11]中所构建的SAE-Softmax故障诊断网络结构,采用工况A下的数据作为源域数据来训练源域模型,并将模型参数迁移至目标模型,在完成模型训练后,利用目标域工况数据进行测试。不同迁移任务下的参数迁移诊断模型效果如表1所示。

表1  参数迁移故障诊断效果
Table 1  Fault diagnosis effects of parameter transfer method
任务1(A→B)任务2(A→C)任务3(B→C)
准确率/% 97.1 81.0 85.7

表1可知,模型在不同的迁移路径下的诊断效果存在一定差距,其在任务1下仍能保证较高的准确率,而任务2与任务3的迁移诊断任务的准确率均低于90%,其原因可能是工况C的故障影响因素相较于工况A和工况B更复杂,使故障诊断的难度提高。而从工况A迁移到工况C的诊断准确率最低,这可能是由于工况A和工况C之间的差异相较于工况B和工况C之间的差异更大,影响模型的迁移效果。

以任务1为例,将训练完成的工况A故障诊断模型的特征提取层参数权重迁移到工况B,并采用工况B下的微调样本数据更新分类层的权重。在完成训练后将微调后的模型用于工况B测试样本的状态识别并输出故障诊断准确率,其随迭代次数的变化过程如图9所示。

图9  参数迁移故障诊断模型训练过程

Fig. 9  Fault diagnosis model training based on parameter transfer model

图9可以看出,在模型迭代过程中,模型诊断准确率迅速提高,当迭代次数达到20次时,模型的准确率基本达到最大值,并在后续的过程中保持不变,这说明通过迁移学习方法可以在较少的迭代次数和标签样本条件下实现对于跨工况故障诊断。相较于一般的深度学习方法,迁移学习模型所需的迭代次数较少,仅需几十个轮次的训练即可得到较好的结果,在保证模型精度的前提下大大提高了训练效率。

在上述研究基础上,为探究微调样本个数对于诊断结果的影响,引入对比实验,分析在不同的微调样本个数下训练得到的目标模型效果。由于微调样本数目不同,模型所需的最大迭代次数存在差异。同时在训练过程中可能会出现过拟合现象,故在本实验中,在迭代过程中选择准确率的最大值,以此探索带标签样本数目对于模型诊断效果的影响。分别设置微调样本数为10、15、20、25个,研究在不同数量的带标签样本下,对模型进行微调的效果。微调样本参与训练过程,剩余样本用于测试模型的效果。表2为不同迁移任务下的模型效果。由表2可知,随着微调样本数的提高,模型对目标域的知识信息学习更加准确,在各个任务下准确率的变化趋势随微调样本数的增大而提高,其中在3种迁移任务下,任务1的表现效果最佳,任务2的表现效果最差。在各个迁移任务下准确率最高时的输出结果如图10所示。

表2  参数迁移故障诊断模型在不同微调样本数下的效果
Table 2  Effect of parameter transfer fault diagnosis model with different number of fine-tuning samples
微调样本数/个模型准确率/%
任务1(A→B)任务2(A→C)任务3(B→C)
10 88.2 69.5 71.4
15 93.7 72.9 76.2
20 97.1 78.3 81.8
25 96.1 81.0 85.7

图10  不同迁移任务下的诊断结果

Fig. 10  Confusion matrix of diagnosis results under different transfer tasks

3.2 基于特征迁移的断纸故障诊断模型

在进行迁移学习前,通过MMD公式对不同工况的距离进行度量,结果如表3所示。

表3  不同迁移路径下的MMD结果
Table 3  MMD results under different transfer paths
任务1(A→B)任务2(A→C)任务3(B→C)
0.058 3 0.052 9 0.021 8

表3可以看出,工况A与工况B和工况C的差异近似,而工况B与工况C之间的差异相对较小,这与之前所得到的迁移诊断结果相符。在网络中引入MK-MMD损失,通过源域分类损失和MK-MMD损失共同参与模型的迭代过程,MK-MMD是MMD的扩展,通过多个核心获得的MMD值增强泛化性能,以适应分布差[

15]。在不同迁移路径下的特征迁移故障诊断结果如表4所示。

表4  基于MK-MMD度量的特征迁移的故障诊断效果
Table 4  Fault diagnosis effects based on feature transfer of MK-MMD metric ( % )
诊断类型任务1(A→B)任务2(A→C)任务3(B→C)
准确率 98.3 94.6 96.4
召回率 98.2 95.0 96.7
精确度 98.6 95.3 96.6

表4可以观察到,在3种迁移任务下,基于MK-MMD度量方法的迁移学习故障诊断方法均能取得较好的效果。其中,在迁移任务1的表现最佳,迁移任务2的表现相对较差,这与3.1的参数迁移方法所得到的结果相似,且整体的模型表现优于参数迁移模型。在深度特征迁移学习方法中,分别引入不同的度量方法KL散度法及MMD法,并与本课题采用的MK-MMD方法分别应用于所建立的特征迁移诊断模型中,得到的在不同距离度量方法下的目标域测试样本的诊断结果对比如图11所示。

图11  在不同距离度量的故障诊断结果

Fig. 11  Fault diagnosis results under different distance metric methods

图11可以看出,所建立的诊断模型中,采用MK-MMD度量方法的表现优于另外2种距离度量,其中在MK-MMD与MMD 2种度量方法下的迁移学习诊断结果差距较小。在3种距离度量方法中,KL散度距离度量方法表现效果最差,这可能是在衡量2个概率分布差异时,由于KL散度在处理高维数据时,表现效果不佳,而MMD方法适用于更广泛的分布类型和复杂数据结构。在这3种迁移任务中,任务1的整体准确率最高,任务2的整体准确率最低,这与基于参数迁移的方法所得到的结果相近。

4 结论

为实现跨工况故障诊断的需求,本课题分别基于参数迁移与特征迁移2种方法搭建了基于堆栈自编码器(SAE)和Softmax分类器故障诊断迁移模型。参数迁移模型主要通过特征提取层参数权重冻结以及分类层权重微调的方式,实现跨工况下的故障诊断;特征迁移模型主要通过空间距离度量方法适配特征空间的分布,以提升诊断模型在不同工况下的效果。

4.1 通过多个跨工况下详细的实验分析得知,相对于未进行迁移的模型,本课题所建立的2种深度迁移模型在故障诊断的诊断准确率均有所提升,这表明将深度迁移学习应用于跨工况故障诊断中有具有较好的效果。对比基于参数迁移模型和基于特征迁移模型,基于特征迁移的诊断模型诊断表现更优越,在不同的迁移任务下分别达到了98.3%、94.6%、96.4%,实现了大部分样本的准确分类。这可能是因为当源任务和目标任务存在一定差距时,由于特征迁移方法侧重于迁移学习源任务中提取的通用特征表示,而不是直接迁移模型参数,这使模型能够更好地泛化到目标任务上,相较于参数迁移效果更好。

4.2 在2种迁移方法下均可以观察到,相较于任务2的诊断结果,任务3的诊断结果更佳,而工况A和工况C之间的距离度量相较于工况B和工况C之间的距离度量更大,这说明迁移学习模型的表现会受到源域与目标域之间差异大小的影响,数据集本身也会对模型诊断效果有一定程度的影响。

从生产过程中进行现场标注的故障标签数据比基于数据分析获得的标签更可靠,且纸浆原料的相关数据中可能存在部分导致断纸故障的关键变量,未来研究应尝试将这些因素考虑在内。同时,后续研究工作可尝试将其推广至工业、文化等领域的其他纸种。

参考文献

1

中国造纸协会. 中国造纸工业 2022 年度报告[J]. 造纸信息20235):6-17. [百度学术] 

China Paper Association. The Annual Report of China’s Papermaking Industry of 2022[J]. China Paper Newsletters20235):6-17. [百度学术] 

2

HE Z LQIAN J WLI J Get al. Data-driven soft sensors of papermaking process and its application to cleaner production with multi-objective optimization[J]. Journal of Cleaner ProductionDOI: 10.1016/j.jclepro.2022.133803. [百度学术] 

3

HE Z LCHEN G JHONG M Net al. Process Monitoring and Fault Prediction of Papermaking by Learning from Imperfect Data [J]. IEEE Transaction of Automation Science and EngineeringDOI:10.1109/TASE.2023.3290552. [百度学术] 

4

雷亚国贾峰孔德同.大数据下机械智能故障诊断的机遇与挑战[J].机械工程学报2018545):94-104. [百度学术] 

LEI Y GJIA FKONG D Tet al. Opportunities and Challenges of Machinery Intelligent Fault Diagnosis in Big Data Era[J]. Journal of Mechanical Engineering2018545):94-104. [百度学术] 

5

曲蕴慧汤伟成爽爽. 基于卷积神经网络及迁移学习的纸病分类方法研究[J]. 中国造纸20214010):63-70. [百度学术] 

QU Y HTANG WCHENG S S. Paper Defects Classification Based on Deep Convolution Neural Network[J]. China Pulp & Paper20214010):63-70. [百度学术] 

6

XIAO YZHOU XZHOUO Het al. Multi-label deep transfer learning method for coupling fault diagnosis[J]. Mechanical Systems and Signal ProcessingDOI:10.1016/j.ymssp.2024.111327. [百度学术] 

7

LI YSONG YJIA Let al. Intelligent Fault Diagnosis by Fusing Domain Adversarial Training and Maximum Mean Discrepancy via Ensemble Learning[J]. IEEE Transactions on Industrial Informatics2021174): 2833-2841. [百度学术] 

8

WANG Z. A deep transfer learning method for system-level fault diagnosis of nuclear power plants under different power levels[J]. Annals of Nuclear EnergyDOI:10.1016/j.anucene.2021.108771. [百度学术] 

9

LI JLIN MLI Yet al. Transfer learning network for nuclear power plant fault diagnosis with unlabeled data under varying operating conditions‍[J]. EnergyDOI: 10.1016/j.energy.2022. 124358. [百度学术] 

10

杜建张磊李继庚.基于GMM-MD组合算法的过程工业故障预测模型[J].中国造纸学报2022372):81-86. [百度学术] 

DU JZHANG LLI J Get al. Fault Prediction Model for Process Industry Based on GMM-MD Combinational Algorithm[J]. Transaction of China Pulp and Paper2022372):81-86. [百度学术] 

11

陈国健李继庚陈波.基于自编码的长流程造纸过程断纸故障识别[J].中国造纸2024433):113-120. [百度学术] 

CHEN G JLI J GCHEN Bet al. Paper Break Fault Recognition in Long Process Papermaking Process Based on Autoencoder[J]. China Pulp & Paper2024433):113-120. [百度学术] 

12

徐玲玲迟冬祥. 面向不平衡数据集的机器学习分类策略[J]. 计算机工程与应用20205624): 12-27. [百度学术] 

XU L LCHI D X. Machine Learning Classification Strategy for Lmbalanced Data Sets[J]. Computer Engineering and Application20205624): 12-27. [百度学术] 

13

RAZA ATRAN KKOEHL Let al. Knowledge-based Systems Designing ECG Monitoring Healthcare System with Federated Transfer Learning and Explainable AI[J]. Knowledge-based SystemDOI: 10.1016/j.knosys.2021.107763. [百度学术] 

14

JIANG FLIN WWU Zet al. Fault diagnosis of gearbox driven by vibration response mechanism and enhanced unsupervised domain adaptation[J]. Advanced Engineering InformaticsDOI: 10.1016/j.aei.2024.102460. [百度学术] 

15

XU SYAO YYONG Net al. Intelligent multi-severity nuclear accident identification under transferable operation conditions[J]. Annals of Nuclear EnergyDOI:10.1016/j.anucene.2024. 110416. [百度学术]