网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于PHAM⁃YOLO网络的卷烟纸燃烧线检测方法

  • 董浩 1,2,3
  • 王澍 2
  • 陆晓家 2
  • 刘强 4
  • 郭晓伟 4
  • 高俊杰 4
  • 张龙 2
  • 胡兴锋 5
  • 周明珠 3
  • 邢军 3
1. 中国科学技术大学,安徽合肥,230026; 2. 中国科学院合肥物质科学研究院,安徽合肥,230031; 3. 国家烟草质量监督检验中心,河南郑州,450001; 4. 内蒙古昆明卷烟有限责任公司,内蒙古呼和浩特,010020; 5. 重庆中烟工业有限责任公司,重庆,400060

中图分类号: TS736TP27

最近更新:2024-04-11

DOI:10.11980/j.issn.0254-508X.2024.03.016

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

为实现卷烟纸燃烧时燃烧线的准确识别,构建了常见应用场景下的卷烟纸燃烧线数据集。针对检测背景复杂、多目标、燃烧线尺度不一且形状各异的难题,将并行混合注意机制嵌入了YOLO v5主干网络,构建了PHAM-YOLO网络模型用于卷烟纸燃烧线的检测。采用特征金字塔快速池化、边界盒回归等方法提升了卷烟纸燃烧线的定位准确性。结果表明,对于卷烟纸燃烧线数据集, PHAM-YOLO网络检测平均精度均值、精度和召回率分别为99.0%、99.8%和99.0%,其中平均精度均值比原始模型提高了5.0%,高于其他类型的目标检测方法。

卷烟纸是为数不多的主动参与燃烧的纸张,燃烧性能是卷烟纸最关键的指标,在卷烟纸燃烧性能的检测过程中,卷烟纸燃烧匹配性、包灰性能等的评价均依赖于燃烧线的准确定[

1-3]。卷烟纸燃烧性能检测时,首先需要准确检测燃烧线,通过燃烧线的位置区分卷烟纸燃烧区域与非燃烧区域,从而提取灰柱、燃烧锥等检测目[4-5]。当前普遍采用数字图像处理方法,该方法通过提取感兴趣区域、进行灰度值分割、形态学分析来识别燃烧线[6-8],这些方法在实际应用中存在以下问题:①当检测系统的照明条件和背景发生变化时,需要对算法的关键参数进行反复测试和调整;②实时检测时,目标跟踪准确性、稳定性效率较低;③检测算法无法在其他系统进行复制,不利于制定统一的标准检测方法。

随着深度学习技术与计算机计算能力的进步,深度学习目标检测方法被广泛应用于各种场景的缺陷检[

9-11]、目标识别等任[12-13],非常适合作为卷烟纸燃烧线的检测方法。本研究针对卷烟纸燃烧线的目标小、形状差异大、背景复杂等问题,采用一种基于PHAM-YOLO网络模型的卷烟纸燃烧线自动检测方法,进行卷烟纸燃烧线的识别定位,提升了卷烟纸燃烧质量检测的科学性和准确性。

1 材料与方法

1.1 材料

2022—2023年,间国内市售卷烟样品30个,卷烟纸宽度分别为19.0 mm(细支卷烟)、22.0 mm(中支卷烟)、26.5 mm(常规卷烟)3种主要规格。

1.2 仪器

BACST600卷烟燃烧灰烬特征参数测量仪、CFP800A 卷烟燃烧锥落头倾向测试仪、FBS00卷烟自由燃烧测量仪(自带图像自动采集和处理软件),以上仪器均由合肥众沃仪器技术有限公司提供;深度学习训练使用NVIDIA GTX 2080Ti显卡,美国英伟达公司。

1.3 卷烟纸燃烧线检测数据集构建

本研究分别采集3种场景下细支、中支和常规卷烟的燃烧图像组成数据集,数据集一共包含1200张图片,包含卷烟包灰图像500张、卷烟燃烧锥落头倾向图像200张、卷烟自由燃烧图像500张,数据集的典型图像见图1。考虑到包灰图像与自由燃烧图像的单张图像中存在多个目标,本研究按照5∶3∶2的比例将数据集随机划分为训练集(600张)、验证集(360张)、测试集(240张)。在测试过程中,按照卷烟品牌将测试集划分为30个子测试集,每个测试集8张图片。

图1  (a)卷烟包灰性能测试图;(b)卷烟落头倾向测试图;(c)卷烟自由燃烧测试图

Fig. 1  Cigarette paper burning line detection dataset images of cigarette ash performance test(a); cigarette falling tendency test(b); cigarette free burning test (c)

数据标注使用LabelImg软件对训练集数据进行人工标注,标注数据严格按照公开数据集PascalVOC格式进行制作,标注文件为xml格式。

1.4 PHAM-YOLO网络结构

YOLO(you only look once)指只需要浏览1次就可以识别出图中的物体的类别和位置的网络模型。目前该模型已发展到第7代(YOLO v7),常用的仍是较为稳定的YOLO v5网络模型。

本研究针对卷烟包灰、燃烧锥落头、自由燃烧3个场景下卷烟纸燃烧线的图像特征,在YOLO v5[

14]网络结构上嵌入了并行混合注意机制PHAM(parallel hybrid attention mechanism),构建了PHAM-YOLO网络模型。PHAM模块包含通道、空间和坐标3种注意机制,可以有效地关注缺陷特征,减少无用背景信息的权重输入。图2是PHAM-YOLO的网络结构示意图。由图2可知,PHAM-YOLO网络结构分为主干网络Backbone、特征加工网络Neck以及目标预测网络Head。

图2  PHAM-YOLO网络模型结构

Fig. 2  Architecture of the PHAM-YOLO network

本研究采用金字塔快速池化(SPPF)模块连续固定卷积核,对输入特征图进行快速池化以融合不同感受野的特征图并提高特征图的表达能[

15-16];使用边界盒回归(BBR)用于提升卷烟燃烧线定位的准确性,引入EIOU(efficient intersection over union)loss损失函数作为边界损失函数来解决CIOU(complete intersection on union)loss损失函数的模糊性,使BBR更加准[17-20]

1.5 模型训练

模型训练的目的是通过机器学习算法和大量的训练数据,使得模型能够准确地识别图像中的物体类别和位置。通过训练,模型可以学习到不同物体的特征和位置信息,从而对新的图像进行准确的识别。

在Ubuntu18.04 LTS 64位操作系统下,采用Python3.7和Pytorch1.5框架进行训练。使用PHAM-YOLO网络在1.3中构建的数据集上进行训练和验证,网络的训练参数如下:迭代次数epochs设置为500,图像尺寸imgsz设置为640像素×640像素×3像素,初始学习率设置为0.01,最终学习率设置为0.001,权值衰减weight decay设置为0.000 5,采用SGD优化算法,训练batchsize设置为16。

2 结果与讨论

2.1 性能评价指标

按照T/SAITA 001—2021《人工智能 计算机视觉系统测评规范》的要求,对模型的性能进行了评价。

2.1.1 精度

精度(P)是被预测为正样本集合中正样本的比率,计算方法如式(1)所示。

P=TPTP+FP (1)

式中,TP表示被正确预测的负样本占全部负样本比率;FP表示被错误预测的负样本占全部负样本比率。

2.1.2 召回率

召回率(R)是被正确预测的正样本占全部正样本的比率,计算方法如式(2)所示。

R=TPTP+FN (2)

式中,FN表示被模型预测为负的正样本数。

2.1.3 平均精度均值

平均精度均值(mAP)可以全面地衡量模型的性能,mAP以召回率-精度曲线的线下面积表示,mAP越大,表示模型的分类性能越好。

2.2 消融实验

为了验证改进之处对模型性能的影响,本研究以原始的YOLO v5为基线网络,使用EIOU loss损失函数代替CIOU loss损失函数、添加PHAM注意力机制和使用SPPF模块代替SPP模块,进行消融实验。各更改项的消融实验结果如表1所示,其中,EIOU loss损失函数解决了BBR不准确问题,使得模型的mAP提高了1.8个百分点;SPPF模块融合了不同感受野的特征图,改善了特征图的表达能力,使得模型的mAP提高了1.5个百分点;PHAM注意力机制对模型的性能提升程度最大,mAP相对于原始的网络提升4.5个百分点;当3个模块融合时,mAP最高,相对于原始的网络提高了5.0个百分点。结果表明,通过嵌入的PHAM机制、更换的SPPF模块以及EIOU loss损失函数均能提升网络的性能,三者融合后能够取得最佳的检测结果,模型的mAP达到了99.0%。

表1  消融实验结果
Table 1  Results of ablation experiment ( % )
原始网络EIOUPHAMSPPFPRmAP
YOLO v5 × × × 94.5 94.1 94.0
× × 95.0 95.2 95.8
× × 99.1 98.7 98.5
× × 95.3 95.8 95.5
99.8 99.0 99.0

2.3 多种目标检测算法对比实验

为了进一步验证PHAM-YOLO网络针对卷烟燃烧线检测的有效性,分别选取了目前主流目标检测算法YOLO v3、YOLO v4、SSD、Faster R-CNN及YOLO v5进行对比,结果如表2所示。由表2可知,PHAM-YOLO网络模型的表现最优,mAP达到了99.0%,相比YOLO v5模型,提升了5.0个百分点,相比其他类型的检测算法提升幅度更大,表明PHAM-YOLO网络模型可以有效地在复杂场景中对多个目标的卷烟燃烧线进行准确检测。

表2  主流目标检测算法实验结果对比
Table 2  Comparison of experimental results of mainstream target detection algorithms ( % )
模型PRmAP
YOLO v3 84.3 84.5 84.2
YOLO v4 87.2 86.9 87.4
SSD 93.5 93.2 93.7
Faster R-CNN 79.8 79.1 79.3
YOLO v5 94.5 94.1 94.0
PHAM-YOLO 99.8 99.0 99.0

图3(a)~图3(c)分别为常规卷烟和细支卷烟的10通路卷烟包灰性能检测、1通路卷烟燃烧锥落头倾向检测以及5通路卷烟自由燃烧性能检测。在3种通路检测中PHAM-YOLO表现出了较好的检测结果,mAP达99.0%,只有1%的概率将目标判断为背景,表明PHAM-YOLO在检测场景不同、尺度不一、形态各异、背景复杂的条件下,均能实现卷烟纸燃烧线的正确识别和精准定位。

图3  常规、细支卷烟的燃烧线检测效果图

Fig. 3  Combustion line detection results of conventional and thin cigarette

注   (a)自由燃烧测试;(b)落头倾向测试;(c)包灰性能测试。

3 结 论

针对目前卷烟包灰性能、燃烧锥落头倾向及卷烟阴燃速率的测试中卷烟纸燃烧线检测存在的问题,本研究通过构建卷烟纸燃烧线检测数据集,采用多种表征手段对数据集进行表征,有效地提高了卷烟纸的燃烧线检测的科学性。

3.1 通过嵌入的并行混合注意机制(PHAM)、采用特征金字塔快速池化、边界盒回归等方法能够提升模型的性能,3个模块融合后模型的平均精度均值提高了5.0个百分点。

3.2 所提出的PHAM-YOLO网络检测平均精度均值、精度和召回率分别为99.0%、99.8%和99.0%,均高于其他类型的目标检测方法。

3.3 在3种应用场景下,模型只有1%的概率将目标判断为背景,基于PHAM-YOLO网络模型的卷烟纸燃烧线检测方法能够适用于多场景下燃烧线的准确检测。

参 考 文 献

1

雀 静鲁红昌刘 明. 碳酸钙形态对卷烟纸透气性能和凝灰性能的影响[J]. 中国造纸20214010): 128-132. [百度学术] 

QUE JLU H CLIU Met al. Effect of Calcium Carbonate Forms on the Air Permeability and Ash Condensation Performance of Cigarette Paper[J]. China Pulp & Paper20214010): 128-132. [百度学术] 

2

李 赓丁海燕孙 军. 改善卷烟纸包灰效果的研究[J]. 中国造纸2012318): 32-35. [百度学术] 

LI GDING H YSUN Jet al. Study on Improvement of Cigarette Ash Packing Effect[J]. China Pulp & Paper2012318): 32-35. [百度学术] 

3

张 莹詹建波缪明明. 卷烟纸对卷烟凝灰性能的影响分析[J]. 中国造纸2017367): 44-47. [百度学术] 

ZHANG YZHAN J BMIAO M Met al. Evaluation and Analysis of Ash Condensation Performance of Cigarette Paper[J]. China Pulp & Paper2017367): 44-47. [百度学术] 

4

王孝峰张 劲李延岩. 卷烟燃烧速率与其包灰性能关系分析[J]. 烟草科技20215410):70-76. [百度学术] 

WANG X FZHANG JLl Y Yet al. Correlation between burning rate and ash integrity of lit cigarettes[J]. Tobacco Science & Technology20215410): 70-76. [百度学术] 

5

穆 林惠建权陶世春.卷烟燃烧锥形态参数测定及与燃烧速度间的关系[J].中国烟草学报2019251): 25-32. [百度学术] 

MU LHUI J QTAO S Cet al. Shape parameters of cigarette burning cone and the relationships with burning rate [J]. Acta Tabacaria Sinica2019251):25-32. [百度学术] 

6

许 蛟王 浩王 涛. 机械手仿真及全视觉卷烟燃烧包灰检测设备的系统设计[J]. 新型工业化2021115): 136-138. [百度学术] 

XU JWANG HWANG Tet al. Manipulator simulation and full visual cigarette burning ash detection equipment system design[J]. The Journal of New Industrialization2021115): 136-138. [百度学术] 

7

冯亚婕王建民梁 淼. 基于ImageJ的卷烟包灰值定量测定方法优化[J]. 食品与机械2018343): 216-219. [百度学术] 

FENG Y JWANG J MLIANG Met al. Optimization of the quantitative determination method of the burning cigarette ash integration based on ImageJ [J]. Food & Machinery2018343): 216-219. [百度学术] 

8

董 浩王 澍周明珠. 卷烟表观燃烧性能质量状况分析[J]. 烟草科技2022554): 70-78. [百度学术] 

DONG HWANG SZHOU M Zet al. The overall status of combustion cone characteristics of domestic cigarettes[J]. Tobacco Science & Technology2022554): 70-78. [百度学术] 

9

NI H GWANG M ZZHAO L Y. An improved faster R-CNN for defect recognition of key components of transmission line[J]. Mathematical Biosciences and Engineering2021184): 4679-4695. [百度学术] 

10

JIA BRONG J AWEI L Aet al. High precision detection algorithm based on improved Retina Net for defect recognition of transmission lines[J]. Energy Reports202062430-2440. [百度学术] 

11

李志诚曾志强.基于改进YOLO v3的卷纸包装缺陷实时检测算法[J].中国造纸学报2022372):87-93. [百度学术] 

LI Z CZENG Z Q. Real-time Defect Detection Algorithm for Roll Paper Packaging Based on Improved YOLO v3[J]. Transactions of China Pulp and Paper2022372):87-93. [百度学术] 

12

高震宇王 安董 浩. 基于卷积神经网络的烟丝物质组成识别方法[J]. 烟草科技2017509): 68-75. [百度学术] 

GAO Z YWANG ADONG Het al. Identification of tobacco components in cut filler based on convolutional neural network [J]. Tobacco Science & Technology2017509): 68-75. [百度学术] 

13

单宇翔龙 涛楼卫东. 基于深度学习的复杂场景中卷烟烟盒检测与识别方法[J].中国烟草学报2021275):71-80. [百度学术] 

SHAN Y XLONG TLOU W Det al. A detection and recognition method of cigarette cases in complex scene based on deep learning [J]. Acta Tabacaria Sinica2021275): 71-80. [百度学术] 

14

Ultralytics. Yolo v5. [EB/OL] (2021-09-21)[2023-06-09]. https://github.com/ultralytics/yolov5. [百度学术] 

15

HOU Q BZHOU D QFENG J H. Coordinate Attention for Efficient Mobile Network Design[J]. arXivDOI:10.48550/arXiv.2103.02907. [百度学术] 

16

QIU M LHUANG LTANG B H. ASFF-YOLO v5: Multielement Detection Method for Road Traffic in UAV Images Based on Multiscale Feature Fusion[J]. Remote SensingDOI:10.3390/rs14143498. [百度学术] 

17

YU JJIANG YWANG Zet al. UnitBox: An advanced object detection network[J]. ACMDOI:10.1145/2964284.2967274. [百度学术] 

18

REZATOFIGHI HTOSI NGWAK Jet al.. Generalized intersection over union: A metric and a loss for bounding box regression[J] IEEEDOI:10.1109/CVPR.2019.00075. [百度学术] 

19

ZHENG Z HWANG PLIU Wet al. Distance-IOU Loss: Faster and Better Learning for Bounding Box Regression[J].arXivDOI:10.1609/aaai.v34i07.6999. [百度学术] 

20

ZHANG Y FREN W QZHANG Zet al. Focal and efficient IOU loss for accurate bounding box regression[J]. NeurocomputingDOI: 10.1016/j.neucom.2022.07.042. CPP [百度学术]