基于机器视觉的瓦楞纸压制送料机器人的控制

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

摘要

本研究采用工业相机采集纸板切割机切下的纸板纸尖图像，取得纸尖在机器人世界坐标系中的定位数据，根据压辊机的位置和所需要的瓦楞角度，建立了机器人的姿态预测模型。在机器人运行时通过调整机器人的运行姿态，实现瓦楞纸的压制上料。经过实际运行，系统可以将瓦楞纸位置误差控制在5 mm以内，旋转角度误差控制在2°以内。结果表明，基于机器视觉的机器人送纸过程的稳定性和可靠性均优于人工操作，但是灵活性还有一定的欠缺。

关键词

瓦楞纸; 机器人; 机器视觉

瓦楞纸是一种通过瓦楞压制机形成的波纹形纸片^[

1]，已经有100多年的历史，由于价格便宜、用途广泛、制作简易、且能回收甚至重复利用，使其得到了广泛应用，本文的瓦楞纸应用于制作湿帘，是湿帘的重要组成部分^{[参考文献 2

百度学术}2]。

湿帘瓦楞纸的生产工艺一般包括上浆、干燥、压制瓦楞、定型、上胶、固化、切片、修磨、去味等^[

3-4]。在整个生产过程中，自动化水平还不够，在上浆、干燥等工序，生产对象可以成批进行加工和上下料，但是在压制瓦楞工序中，由于生产湿帘工艺的要求，不同品种瓦楞纸生产的瓦楞的角度是不同的，需要人工进行干预及操作。图1为工人现场操作。在纸板切割完成后，操作人员需要根据湿帘对瓦楞角度的要求，将纸板调整好角度送入瓦楞压制机中。为了实现可靠的生产，一般操作人员会拿一个靠铁块作为角度基准。虽然这种操作方式简单方便，但是操作人员的操作重复机械，因此往往操作也变得随意散漫，造成产品质量的不稳定，实现自动化的送料操作也成为必然需求^{[参考文献 5

百度学术}5]。

图1 工人现场操作

Fig. 1 Field operation

在实际生产中，对板型材料的输送应用研究，许多工程技术人员作出了很多贡献。李丽阁等人^[

6]设计了一种纸板吸取机构和输送机构，将包装纸板的输送速度提高到80只/min。高强等人^{[参考文献 7

百度学术}7]对服装布料等软性材料进行上料机器人的研究，主要探讨了布匹的边缘定位算法；汪瑞良^{[参考文献 8

百度学术}8]设计了光伏电池生产中的玻璃上料机器人；蒋磊等人^{[参考文献 9

百度学术}9]针对输电线缆输送问题的机器人的应用进行研究。但是这些研究有的偏重于机械本体的设计，有的研究偏重于对图像处理算法的研究，对在实际生产环境下的机器人引导方法研究还不够深入。因此本文从实际生产角度研究和探讨如何使用机器人代替人工正确引导纸板进入压辊机。

1 瓦楞压制的纸板运行轨迹规划

当纸板被切纸机切割以后，纸板的位置是无法确定的，但是瓦楞纸压制出的瓦楞角度需要保持恒定。因此，压辊压制纸板的位置需要保证恒定。操作人员需要将纸板移动到基准位置，然后将纸板送入压辊进行瓦楞的压制。为了实现将纸板自动送入压辊，需要实现机器人输送纸板的运行轨迹模拟工人的动作轨迹。机器人位置固定，但纸板的位置并不固定。机器人抓取纸板时，纸板在机器人坐标系中的位置也成为随机状态，这就需要视觉来确定纸板在坐标系中的位置。

图2为纸板运行轨迹规划图。从图2可以看出，纸板上标号1、2、3、4是表示纸板移动的4个位置。1号位置是切纸机切纸动作完成后纸板的位置，在这个位置上机器人采用固定姿态进行抓纸；2号位置为机器人将纸板移动到的拍照位置；在这个位置上，相机获得纸板的纸尖图片；3号位置为机器人将纸板调整好的姿态位置；4号位置为机器人送纸进入压辊的位置。

图2 纸板运行轨迹规划图

Fig. 2 Running track of paperboard

4个位置是机器人模拟人工进行的动作，需要达到的效果为

（1）切纸机将纸板切割成2100 mm×1200 mm尺寸的规格，机器人抓纸；

（2）机器人将纸板移动至拍照位置；

（3）机器人将纸板调整好姿态；

（4）将纸板送入压辊。

2 控制系统

2.1　控制系统硬件组成

为实现模拟工人将压制纸板送入压辊的操作过程，本文采用工控机作为控制核心，PLC控制压制纸的切刀和瓦楞压制机，工控机与PLC之间通过RS485接口进行通信，通过ModbusRTU协议作为数据通信协议，用来传递机器人当前工作状态、切纸机的工作状态，根据工作状态控制工作节奏。工控机通过以太网接口控制着机器人和工业相机。工业相机采集图像数据，工控机得到数据，预测机器人的运行姿态，驱动机器人模拟工人的操作动作。图3为自动送纸系统架构图，工控机采用研华610L型PC机，PLC采用汇川H3U型PLC，工业相机采用Basler aca2500-14gc，机器人采用国机智能的SR1700型工业机器人。

图3 自动送纸系统架构图

Fig. 3 Automatic paper feeding system

2.2　控制流程

在生产中工控机控制着整个生产节奏，根据控制要求，平均5～6 s完成一个动作节拍。图4为系统工作流程。图5为现场实际生产图。系统启动后，工控机就进入控制状态，首先通知切纸机进行蓄纸，当达到规定长度时，进行切纸。切纸动作完成后，启动机器人进行抓纸，将纸板移动到拍照位置进行图像采集。根据图像得到位置数据，进行机器人姿态位置的预测。得到预测数据后，调整机器人的姿态，进行上料动作。机器人上料完成后，回位等待下一个切纸动作。

图4 系统工作流程

Fig. 4 Workflow of the system

图5 现场实际生产图

Fig. 5 Actual production

3 机器人的姿态预测

3.1　机器人的姿态预测模型

为了引导机器人的运行，系统需要根据拍照得到的图像数据预测出机器人需要行走的姿态数据。

机器人的姿态可以用5种不同的坐标系进行描述。①世界坐标系；②关节坐标系；③直角坐标系；④工具坐标系；⑤用户坐标系。本文的预测模型采用直角坐标系。

图6 机器人采用的坐标系

Fig. 6 Robot coordinate system

机器人的姿态用一维向量表示[X,Y,Z,A,B,C]。由于机器人对纸板的操作只有3个自由度，因此机器人的姿态可以表示为[X,Y,A]，分别对应于操作平面方向以及纸板的旋转。本文采用基准加偏差的方式得到预测模型，首先需要确定基准纸板的基准轨迹，其基本过程如下：①将瓦楞压制纸板移动到拍照点处，进行图像采集。记录下纸尖坐标以及机械手末端坐标，在后续采集数据时保持机械手的坐标不变；②将纸板移动到调姿位置，记录下机器人坐标；③将纸板移动到压辊入纸位，记录下机器人坐标。得到基准的数据后，建立线性预测模型见式（1）。

[\begin{array}{l} X \\ Y \\ A \end{array}] = a [\begin{array}{l} X^{'} \\ Y^{'} \\ A^{'} \end{array}] + b

（1）

式中，[X,Y,A]为实际机器人姿态的位置；[X',Y',A']为基准机器人的姿态数据；b为偏差值，该值为调姿位置状态下，实际纸板与基准纸板的偏差，该值需要根据实际纸尖图像数据与基准图像数据的偏差计算出来。基本计算程序如下：

x2=x01-x0-dx;//拍照点纸尖坐标

y2=y01-y0-dy;

a2=atan(y2/x2)+da;

x21=sqrt(x2*x2+y2*y2)*cos(a2);//旋转后新坐标

y21=sqrt(x2*x2+y2*y2)*sin(a2);

xo=x01-x0-x21;//得到位置偏差

yo=y01-y0-y21;

计算程序在labview2014版得到了验证。

3.2　图像定位算法

在预测模型中，最关键的数据是纸尖的图像数据。预测模型需要知道纸尖在机器人世界坐标系中的坐标数据，因此需要进行图像定位。图像定位首先需要做的是将图像坐标系和机器人坐标系进行统一，也称为手眼标定。在这个方面，许多文献都进行了比较详细的阐述^[

10-12]。在手眼标定完成后，就需要确定纸板纸尖在图像中的位置。图7为纸板纸尖图像，图8为纸尖定位流程图。

图7 纸板纸尖图像

Fig. 7 Paperboard tip image

图8 纸尖定位流程图

Fig. 8 Location flowchart

由于现场环境的限制，不能取得效果非常好的图像。本文采用直方图均衡和图像增强提高图像的辨析度。由于纸板的特殊形状，本文根据形状特征匹配^[

13]搜索纸板纸尖在图像中的基本位置。当搜索到纸尖在图像中的基本位置后，为得到更加精确的定位，找到纸尖附近的纸板边缘，得到边缘点的位置坐标，根据最小二乘法拟合成2条边缘直线。得到边缘直线方程后，计算出边缘直线与图像X轴的坐标以及2条直线交点的位置数据。通过这样的算法可以得到纸板纸尖在图像中比较精确的位置。

这种算法对纸板具有一定要求，在正常工作状态，纸板没有飘起，同时纸板的湿度控制在正常范围，那么定位精度可以控制得比较高。在实际操作中，如果纸板的纸尖有翘起等状态，对纸尖的定位精度有影响。

3.3　仿射变换匹配对纸尖的初定位

在图8的纸尖定位流程中，模板形状匹配关系到纸尖在整个图像中的基本定位。但是，瓦楞纸压制工序之前是剪切工序，纸板会根据工艺要求被剪切成不同的角度。当纸板在操作台面上运行时，不同剪切角度的纸板在相机中呈现的图像有一定区别。图9为剪角不同的2种纸板，图9(a)剪角大于图9(b)的剪角。如果用图9(a)图像作为模板对图9(b)进行匹配搜索，可能存在目标找不到或者出现匹配位置偏移的问题。

图9 剪角不同的两种纸板

Fig. 9 Two kinds of paperboard with different cutting angle

在照相机拍摄目标物体时，从物方三维空间坐标系到像方二维平面坐标系的投影存在着映射关系。为了实现场景重构、场景识别，往往需要对获得的图像进行仿射纠正。岳娟等人^[

14]从逆仿射变换出发，对原图进行仿射形变纠正，估计出对应的正射图像。肖雄武等人^{[参考文献 15

百度学术}15]通过估算影像的相机轴定向参数计算出初始仿射矩阵，通过逆仿射变换得到纠正影像，对纠正影像进行匹配。这些研究人员的研究是基于图10的相机物体仿射成像模型。

图10 仿射成像模型

Fig. 10 Affine model

从图10的模型可以得到式（2）。

v = A u

（2）

式中， $v$ 为像方平面； $u$ 为物方平面；A计算见式（3）～式（4）。

A = λ [\begin{array}{l} c o s ψ \\ s i n ψ \end{array} \begin{array}{l} - s i n ψ \\ c o s ψ \end{array}] [\begin{array}{l} t \\ 0 \end{array} \begin{array}{l} 0 \\ 1 \end{array}] [\begin{array}{l} c o s φ \\ s i n φ \end{array} \begin{array}{l} - s i n φ \\ c o s φ \end{array}]

（3）

t = 1 / c o s θ

（4）

式中，t为倾斜度；（θ，φ）为相机光轴定向，分别为相机的纬度、经度；ψ为相机绕其光轴旋转的角度；λ为尺度缩放倍数^[

14]。

从图2可以看出，在操作平台中的相机为固定位置。在相机固定的条件下，获得的图像质量能够保持一致。但由于工艺问题导致纸板剪角有较大的差别，下面将不同剪角的纸板看做是对模板纸板的不同θ角的畸变。以 $v_{0}$ 为模板图像， $v_{0}^{'}$ 为目标图像中映射图像，存在关系见式（5）。

v_{0}^{'} = A v_{0}

（5）

由于相机固定，在进行图像形状特征搜索时 $λ =$ 1， $ψ = 0$ ，因此A表达为式（6）。

A = [\begin{array}{l} t \\ 0 \end{array} \begin{array}{l} 0 \\ 1 \end{array}] [\begin{array}{l} c o s φ \\ s i n φ \end{array} \begin{array}{l} - s i n φ \\ c o s φ \end{array}]

（6）

通过调整参数t、φ，在图像中进行形状匹配的搜索，实现对纸尖形状的初定位。

4 试验与分析

（1）试验平台：瓦楞纸生产线。

（2）软件环境：操作环境采用Win7 32位，界面编程采用Labview2014，软件算法采用VS2010+Opencv3.4.1。

（3）测量工具：采用数显角度尺，角度分辨率0.05°，长度分辨率0.5 mm。用于测量距离偏差和角度偏差。

（4）试验过程：为了验证整个系统在实际生产中的稳定性和可靠性，在实际生产之前，需要对系统的运行进行试验。首先将压辊机停机，并将系统的运行过程如图2所示分解成4步，在系统运行到第4步送纸时暂停，取纸尖点位置与靠铁基准用测量工具测量长度，用量角器测量纸板边缘与基准线之间的夹角角度。图11为试验停机图。

图11 试验停机图

Fig. 11 Machine halt for experiment

表1为试验结果分析表。试验共进行9次，为了验证纸尖翘起的引导效果，在第8次和第9次试验中将纸尖人为折弯成不同状态。

表1 试验结果分析表

Table 1 Analysis table of experiment results

序号	纸尖与基准距离/mm	偏差	角度与基准差/（°）	人工评判
1	163.0	0	0	合格
2	163.0	0	0	合格
3	163.5	0.5	0	合格
4	164.0	1	0.5	合格
5	163.0	0	0	合格
6	162.5	-0.5	0	合格
7	163.0	0	0	合格
8	167.5	4.5	2	基本合格
9	停机报警			不合格

从表1可知，在纸板质量稳定的情况下，系统能够稳定可靠地引导纸板进入压辊机。如果没有人工干预，很难在有限次数的试验中验证系统对纸板异常状态的处理效果。第8次试验采用人工方式模拟纸尖轻微飘起，系统能够找到纸尖，但是位置有偏离，可以得到基本合格的产品。第9次试验模拟纸尖翘起角度较大的状态，系统认为没有找到纸板，将本次操作判为不合格，机器人停机、报警。

5 结　论

本研究采用机器视觉引导机器人进行瓦楞纸的生产，在实际生产中取得了良好的效果。在正常工作情况下，系统取得的效果较好。但是由于生产的影响因素非常多，纸板的情况也较复杂；如果纸尖飘起，纸板的上料位置误差可控制在5 mm以内，角度可控制在2°以内，取得较好的生产效果。但是系统相对于人工，工作的柔性还不够，需要对预测模型进行进一步的改进，使之能够满足纸板飘起或者纸尖翘起等工作异常状态。

参考文献

杜　娟，臧永华，吴振娟.瓦楞纸板的发展趋势及水性油墨柔版印刷适性［J］.中国造纸， 2009， 28（6）：57-62. [百度学术]

DU J， ZANG Y H，WU Z J.The Development of Corrugated Board and Its Flexographic Printability with Water-based Inks［J］.China Pulp & Paper， 2009， 28（6）：57-62. [百度学术]

J. David McDonald， Richard J.Kerekes， Joe R.Zhao.Wet Pressing Models to Reduce Energy Consumption in Papermaking［J］.Paper and Biomaterials， 2019， 4（1）：1-6. [百度学术]

杜红慧.基于食用菌工厂化栽培的湿帘-制冷机联动系统设计［D］.福州：福建农林大学， 2019. [百度学术]

DU H H.Design of Wet Curtain-refrigerator Linkage System Based on Industrialized Cultivation of Edible Fungi［D］. Fuzhou： Fujian Agriculture and Forestry University ， 2019. [百度学术]

陈安江，刘　军.瓦楞原纸性能对瓦楞纸箱强度的影响及其改进措施［J］.中国造纸， 2007， 26（7）：60-61. [百度学术]

CHEN A J， LIU J. Effect of Properties of Corrugated Base Paper on Strength of Corrugated Box and Improvement Measures［J］. China Pulp ＆Paper. 2007，26（7）：60-61. [百度学术]

汤　伟，孙振宇，池东明，等.高强瓦楞纸机干燥部能耗协同控制系统的设计及优化研究［J］.中国造纸学报， 2017， 32（3）：58-63. [百度学术]

TANG W， SUN Z Y， CHI D M，et al. Design and Optimization of Synergic Control System for Energy Consumption of High Strength Fluting Paper Machine Dryer Section［J］. Transactions of China Pulp and Paper， 2017， 32（3）：58-63. [百度学术]

李丽阁，张有良，段移丽，等.纸箱包装机纸板取送机构的设计与研究［J］. 包装与食品机械， 2014， 32（4）：28-30. [百度学术]

LI L G， ZHANG Y L， DUAN Y L， et al. Design and Research of the Sucking and Delivery Mechanism for the Carton Packing Machine［J］. Packaging and Food Machinery， 2014， 32（4）：28-30. [百度学术]

高　强，潘　俊，李　震.面向软面料自主抓取的机器人视觉检测与定位［J］. 计算机测量与控制， 2019， 27（7）：20-24. [百度学术]

GAO Q， PAN J， LI Z. Visual Detection and Localization of Robots’ Grasps Automatically on Soft Fabri［J］.Computer Measurement & Control，2019，27（7）：20-24. [百度学术]

汪瑞良.光伏电池生产车间自动化传输系统［J］.制造业自动化， 2019， 41（2）：27-30+38. [百度学术]

WANG R L.Automatic transmission in solar cell manufacturing factory［J］， Manufacturing Automation， 2019， 41（2）：27-30+38. [百度学术]

蒋　磊，樊绍胜，崔坤坤.输电线路机器人上下线平台的研究与设计［J］.自动化技术与应用， 2020， 39（4）：85-91. [百度学术]

JIANG L， FAN S S， CUI K K.The Research and Design of Loading Platform of Power Transmission Line Robot［J］.Techniaues of Automation and Applications， 2020， 39（4）：85-91. [百度学术]

张云珠.工业机器人手眼标定技术研究［D］. 哈尔滨：哈尔滨工程大学， 2009. [百度学术]

ZHANG Y Z.Research on Hand-eye Calibration Technology of Industrial Robot［D］. Harbin：Harbin Engineering University， 2019. [百度学术]

王君臣，王田苗，杨　艳，等.非线性最优机器人手眼标定［J］.西安交通大学学报， 2011， 45（9）：15-20. [百度学术]

WANG J C，WANG T M，YANG Y，et al. Nonlinear Optimal Robot Hand-eye Calibration［J］. Journal of Xi’an Jiaotong University， 2011， 45（9）：15-20. [百度学术]

朱正伟.基于单目视觉的目标位姿识别与机器人抓取引导［D］.广州：华南理工大学， 2015. [百度学术]

ZHU Z W.Object Posture Recognition and Robot Pickup with Guidence Based on Monocular Vision［D］. Guangzhou：South China University of Technology， 2015. [百度学术]

丁险峰，吴　洪，张宏江，等.形状匹配综述［J］.自动化学报， 2001，27（5）：678-694. [百度学术]

DING X F，WU H， ZHANG H J， et al. Reviewon Shape Matching［J］.ACTA Automatica Sinica， 2001， 27（5）：678-694. [百度学术]

岳　娟，高思莉，李范鸣，等.具有近似仿射尺度不变特征的快速图像匹配［J］.光学精密工程， 2020， 10（28）： 2349-2359. [百度学术]

YUE J， GAO S L， LI F M， et al.Fast image matching algorithm with approximate affine and scale invariance［J］.Optics and Precision Engineering， 2020， 10（28）：2349-2359. [百度学术]

肖雄武，郭丙轩，李德仁，等.一种具有仿射不变性的倾斜影像快速匹配方法［J］.测绘学报， 2015，44（4）：414-421. [百度学术]

XIAO X W， GUO B X， LI D R， et al.A Quick and Affine Invariance Matching Method for Oblique Images［J］. Acta Geodaeticaet Cartographica Sinica， 2015， 44（4）：414-421. [百度学术]

CPP [百度学术]

基于机器视觉的瓦楞纸压制送料机器人的控制

摘要

关键词

1 瓦楞压制的纸板运行轨迹规划

4个位置是机器人模拟人工进行的动作，需要达到的效果为

2 控制系统

2.1 控制系统硬件组成

2.2 控制流程

3 机器人的姿态预测

3.1 机器人的姿态预测模型

3.2 图像定位算法

3.3 仿射变换匹配对纸尖的初定位