基于条件生成对抗网络的激光视觉焊缝跟踪训练图像修复

长三角G60激光联盟导读

据悉，为了增强焊缝跟踪模型的鲁棒性，提高焊接精度，本文提出了一种基于条件生成对抗网络（CGAN）的焊接图像修复方法。

摘要

在基于激光视觉的焊缝跟踪过程中，焊缝的定位精度在很大程度上取决于实时采集的焊接图像训练样本的质量。然而，焊接过程中强电弧、飞溅和其他噪声的干扰严重污染了训练图像，这可能导致跟踪模型漂移并导致跟踪失败。为了增强焊缝跟踪模型的鲁棒性，提高焊接精度，提出了一种基于条件生成对抗网络（CGAN）的焊接图像修复方法。我们构建了一个焊接图像修复网络，并定义了网络训练的损失函数。通过训练，网络学习从噪声焊接图像到相应无噪声图像的端到端映射。然后，为了实现精确的自动焊缝跟踪，将优化的修复网络集成到跟踪器中进行训练样本恢复，从而提高了焊缝跟踪系统的抗噪声干扰性能。实验结果表明，所提出的焊缝跟踪方法能够将平均焊接误差稳定在0.2mm以内，优于现有方法。这证明了所提出的方法对于提高焊缝跟踪系统的鲁棒性和焊接精度的有效性。

1，介绍

焊接技术是工业制造过程中最重要的部分之一。由于传统焊接生产存在工作环境差、重复性高、人工劳动强度高、效率低等缺点，近年来焊接机器人越来越多地取代焊工。传统的焊接机器人一般采用示教回放方式工作。然而，由于工件夹紧误差和焊接热变形，焊枪在焊接过程中很容易偏离理论焊缝轨迹。因此，传统的焊接模式难以满足高效率、高精度和高质量的焊接要求。随着计算机视觉的发展，基于结构光视觉传感器的自动焊缝跟踪方法越来越多地被用于焊缝跟踪和熔池测量。该方法适应性强，能够在不影响焊接过程的情况下获取丰富的焊缝信息。在焊缝跟踪的情况下，通过使用摄像机捕捉投影在工件上的激光条纹，焊缝跟踪系统可以获得焊缝位置信息，以实现实时焊缝跟踪的目的，如图1。

图1 结构光视觉系统的示意图。

为了在工业过程中实现自动焊接，基于激光视觉系统，Wu等提出了一种用于图像处理的改进Hough算法，该算法应用于焊缝跟踪系统中的焊缝特征提取。该算法可用于工业应用中的自动焊缝检测。为了进一步提高焊缝跟踪精度，Fang等人在中提出了一种用于激光线检测的两步特征提取方法和一种用于精确焊缝跟踪的新的自校正模糊控制器。

在基于结构光视觉的焊缝跟踪系统中，主要技术参数是激光条与熔池之间的距离d，如图1所示。d越小，跟踪精度越高。因此，d通常设置为小于30mm。然而，在这种情况下，焊接过程中的大量噪声（例如电弧和飞溅）严重影响采集图像的质量（如图2所示），这使得焊缝特征提取极其困难，从而影响焊缝的定位精度。Mota等提出，高功率照明激光器和匹配滤光器可有效消除电弧和飞溅的影响。然而，高亮度的高功率激光器容易对操作员造成损害，也可能导致相机过度曝光。因此，从严重污染的焊接图像中准确定位焊缝特征点是激光视觉焊缝跟踪研究中最基本的问题。

图2 焊接图像中的强噪声干扰。红色矩形框中的红点表示需要定位的特征点。

基于形态学图像处理方法和连续卷积算子跟踪器目标跟踪算法，设计了一种具有优良实时跟踪性能和高精度的新型焊缝跟踪系统。该方法具有很强的鲁棒性，可以在电弧和飞溅干扰强的环境中稳定工作。Zou等人设计了一种基于形态学图像处理方法和高斯核的焊缝跟踪系统。该方法具有很强的鲁棒性，可以在电弧和飞溅干扰强的焊接环境中稳定工作。这些基于目标跟踪算法的焊缝跟踪方法可以根据先前的特征信息识别当前图像的特征，因此在一定程度上可以抵抗强噪声的干扰。

然而，在焊缝跟踪过程中，跟踪模型需要在线训练和更新，其质量直接取决于实时采集的焊接图像训练样本。当连续的遮挡和杂波污染训练样本时，模型的识别能力可能会恶化，导致跟踪失败。为了获得高质量的训练样本，Bolme等人提出了基于峰值旁瓣比（PSR）准则拒绝新样本。PSR计算为最大置信度得分与峰值周围特定区域得分的标准偏差之比。

最近，随着深度神经网络得到广泛研究，许多基于深度神经网络的尝试被用于图像修复。在这些方法中，生成性对抗网络（GAN）图像修复的性能尤其令人印象深刻。因此，GANs已成为解决相关问题的有吸引力的解决方案。GAN框架在对抗性学习中具有优越的性能。与其他图像修复方法相比，它能更好地学习全局和细节信息，因此修复效果更显著。为焊缝跟踪模型的训练数据去污和修复提供了良好的启发。

为了实现焊接图像的实时修复，提出了一种基于条件生成对抗网络（CGAN）的焊接图像修复方法。从跟踪模型的训练数据修复的角度来看，焊缝跟踪系统的鲁棒性和焊接精度得到了提高。基于CGAN原理，定义了网络训练的损失函数，构建了焊接图像修复网络。为了有效学习鲁棒修复网络，利用激光视觉系统，提出了一种用于网络训练的焊接图像采集方法。为了实现工业焊接中精确的焊缝自动跟踪，我们提出了一种嵌入修复网络的焊缝跟踪算法，该算法可以实时消除输入焊接图像训练样本的污染。因此，当遇到焊接过程中的连续强噪声时，跟踪器可以保持较强的鲁棒性和稳定性。该方法很好地解决了焊缝跟踪模型的漂移问题，抑制了强噪声引起的过度定位误差，大大提高了焊缝跟踪精度。图3是所提出的方法的流程图。

图3 所提出的焊缝跟踪方法的流程图。

2.结构光视觉系统

2.1.基本测量原理

开发了一种用于自动焊缝跟踪的结构光视觉系统，主要由工业摄像机、三线激光发生器和光学滤波器组成。其测量原理如图4所示。半导体激光器产生的点激光束进入衍射光栅。在衍射作用下，激光束被最佳地分成三个线性激光器。三个线性激光器进入Powell棱镜。棱镜沿每条激光线实现了高直线度、稳定性能和均匀密度，称为线性结构光。光线投射到焊接工件上，在表面上形成三条激光条纹，这些激光条纹随焊缝轮廓变化。中间条纹用作测量条纹，其他两条条纹用作辅助条纹以获得更多特征信息。互补金属氧化物半导体（CMOS）相机与激光平面之间存在固定角度。激光条纹通过漫反射进入透镜，并压印在CMOS芯片上。由于存在角度，图像上激光条纹的点不仅包含平面的位置，还包含其深度。

图4 结构光视觉系统的测量原理示意图。

2.2三维测量的数学模型

图5示出了激光条的透视成像过程。α和β分别表示测量平面和成像平面。3D坐标OCXCYCZC表示摄像机坐标系。2D坐标OIXIYI和OPXPYP分别表示成像坐标系和像素坐标系。OCOI的直线是相机的光轴，f是等效焦距。

图5 透视成像模型。

图5所示的成像模型是理想化模型，其假设成像过程中没有失真。然而，透视畸变将导致几何畸变，P′的位置将偏离理论位置。

3.焊接图像修复

3.1网络架构

构建的修复网络架构如图6所示，主要由发生器网络G和鉴别器网络D组成。G的目标是学习从输入污染焊接图像到相应的地面真相的映射。当输入有噪声的焊接图像时，训练有素的生成器可以有效地恢复它。为了降低计算复杂度并避免不必要信息造成的瓶颈，发电机网络遵循U-Net架构的一般形状。大量的训练经验表明，过多的网络层会导致训练速度慢和网络收敛，而过少的网络层可能会导致修复效果差。因此，最终采用八个卷积层和八个反卷积层来构造发生器网络；其结构如图7（a）所示。

图6 焊接图像修复网络的总体架构。符号表示两个图像的串联。

图7 (a)发生器G和(b)鉴别器D的网络结构。

3.2训练修复网络

为了使生成器在不改变原始图像中的形状和位置信息的情况下学习从强噪声焊接图像到相应清洁图像的映射，通过以下步骤获得用于网络训练的训练数据：

(1)利用结构光视觉系统，根据示教轨迹，采集无焊接和有焊接的图像。注意两个采样过程的采样间隔相同。该方法用于收集搭接型焊缝和对接型焊缝的图像，如图8所示。获得无噪声图像和相应噪声图像的训练数据，其中每种焊缝有1000对图像（每幅图像的原始尺寸为1024×1280像素）。

图8两种焊缝的示意图。（a）搭接式接缝。（b）对接式接缝。

(2)由于两个相邻帧中接缝特征点的位置差非常小，为了增加训练数据的多样性并避免训练过程中的过拟合，采集的2000对图像被随机偏移。请注意，每对图像的两个图像以相同的矢量偏移。

(3)在尺寸为1024×1280像素的原始图像中，接缝特征主要位于小区域。为了加快训练过程和实时修复速度，对图像进行裁剪，以包括具有最大浓度的适当区域。最后，获得了每幅图像大小为300×300像素的2000对训练样本。

4.焊缝跟踪方法

为了实现焊缝自动跟踪，需要一种基于视觉的目标跟踪算法。近年来，尽管许多跟踪算法在特定数据上表现良好，但由于连续的噪声干扰，它们在焊缝跟踪中面临相当大的挑战。为了实现精确的自动焊缝跟踪，在本节中，基于对象跟踪算法，我们提出了一种嵌入修复网络的焊缝跟踪方法。

4.1.跟踪算法

基于区分相关滤波器的目标跟踪算法具有良好的鲁棒性和快速跟踪速度。相关滤波方法的基本流程如图9所示。对于第一幅图像，在初始化目标位置并学习滤波器后，将该位置作为下一帧的目标提取位置。

图9 基于相关滤波器的跟踪方法的流程图。

4.2.嵌入修复网络的焊缝跟踪算法

我们将经过训练的基于CGAN的修复网络集成到STC和ECO跟踪器中，分别构建了CGAN+STC和CGAN+ECO焊接图像修复跟踪算法。基本流程图如图10所示。当获得焊接图像时，将给定目标点（第一帧）或前一帧的目标点作为中心点，并将图像裁剪为300×300像素的大小。然后，裁剪图像被输入到修复网络，发生器合成并返回相应的恢复焊接图像。提取恢复图像的特征，并与学习滤波器一起执行相关操作，从而确定接缝特征点的位置。然后，以新的目标点为中心提取当前恢复图像的特征，作为训练样本来训练和更新滤波器。

图10所提出的焊缝跟踪方法的流程图。

5.实验和讨论

5.1.实验平台

实验平台的主要部分是安川公司开发的MA1440弧焊机器人，末端安装有YMES-300R焊炬，应用的焊接机是MOTOWELD-RD350。此外，机器人末端安装了激光视觉传感器。传感器主要由工业摄像机和三线激光器组成。相机为分辨率为1024×1280像素、采样频率为60fps的Basler acA1280-60gm，激光发生器为波长为660nm、功率为100mW的纳米线激光器NL-660-100-01L-30。相应地，相机上安装了中心波长为660nm的带通滤波器，可以在一定程度上减少噪声干扰。图11示出了焊缝跟踪系统的每个部分之间的连接。在焊接过程中，摄像机采集包含焊缝轮廓信息的焊接图像，并通过以太网传输至工业计算机。通过计算机上的算法程序进行处理，得到焊缝特征点的位置。然后，位置信息被发送到机器人的控制柜进行处理，最后输出控制信号以控制焊炬的运动。

图11 焊接系统各部件之间的连接。

5.2.修补效果测试

为了验证修复效果，使用了大小为300×300像素的噪声焊接图像，而不是训练集的图像进行测试。将对接型焊缝和搭接型焊缝的焊接图像随机输入到经过良好训练的修复网络中进行恢复，部分图像的修复效果如图12所示。可以看出，所提出的焊接图像修复方法可以完美地消除输入噪声焊接图像的污染，修复强电弧遮挡的焊缝特征信息，并恢复清晰的焊接图像。在测试中，该方法的修复速度约为每秒32帧，满足跟踪模型训练样本的实时去污要求。

图12 噪声焊接图像的修复效果。

5.3.离线焊缝跟踪测试

为了验证效果，实验还从三种类型的工件中收集了具有强噪声的对接型和搭接型焊接图像数据，用于离线跟踪测试：具有C形轨迹的对接工件和具有C形和S形轨迹的搭接工件，焊缝由B-C、L-C和L-S表示，分别地手动标记每个图像的接缝特征点，以进行后续偏差比较。

为了直观地表示跟踪误差，根据平台的变换关系，实际校准的图像空间到笛卡尔空间的比例因子为0.056mm/像素。每种跟踪方法对不同测试数据的误差如图13所示。原始跟踪方法在跟踪不同数据时非常不稳定。当面对具有强噪声的图像数据时，它们容易出现模型漂移，从而导致过多的误差。通过将修复网络添加到用于训练样本恢复的不同跟踪器，跟踪误差稳定在较低水平。此外，可以显著地抑制跟踪过程中的最大误差。

图13 不同跟踪方法对不同测试数据的跟踪误差比较。

为了更清楚地比较跟踪过程中的误差，选择第6组对接型焊缝长序列数据和第11组搭接型焊缝的跟踪效果进行显示，如图14所示。当跟踪具有强噪声干扰的长序列焊接图像时，由于模型漂移，原始方法很容易波动很大，甚至导致跟踪失败。例如，STC跟踪器在跟踪两个长序列数据时漂移。相比之下，所提出的基于CGAN的焊接图像修复跟踪方法可以有效地弥补原跟踪算法的缺陷。它增强了跟踪模型的鲁棒性和稳定性，减少了跟踪过程中的误差，提高了焊缝跟踪精度，因为所提出的方法可以实时净化焊接图像，从而解决了训练样本劣化导致的跟踪模型漂移问题。

图14 将基于CGAN的修复网络嵌入STC和ECO之前和之后的跟踪效果的比较。（a）第6组对接型焊缝图像的跟踪效果。（b）第11组搭接型焊缝图像的跟踪效果。

5.4.焊接试验和分析

本文采用CGAN+ECO焊缝跟踪方法进行自动焊缝跟踪实验。实验中采用的焊接方法为气体金属弧焊（GMAW），所用保护气体为CO2（20%）和Ar（80%）的混合物。试验前，将焊炬与激光条之间的距离d（如图4所示）调整为15 mm。

为了验证所提出方法在实际焊接中的泛化性能，使用与离线焊缝跟踪测试相同的三种工件进行了实验。在每次焊接之前，通过示教方法获得工件的理论焊缝轨迹，并将其保存，以便随后进行偏差比较。对于每种类型的焊接工件，使用130 A和150 A的焊接电流进行实验。在实验中，计算速度约为20 fps。图15示出了焊接过程中保存的图像的一部分及其相应的恢复图像。

图15 焊接实验期间保存的部分图像及其相应的恢复图像。每个图像中的数字表示帧编号。（a）对接式接缝的图像。（b）搭接式接缝的图像。

为了评估所提出的焊接图像修复跟踪方法的性能，在150A的焊接电流下，使用ECO跟踪方法进行对比实验。图16显示了与所提出方法相比的实验结果，可以看出，在焊接过程中，由于强噪声的干扰，ECO跟踪方法趋于波动，甚至偏离目标。相反，通过使用所提出的跟踪方法，焊缝的跟踪轨迹几乎与理论轨迹一致。结果表明，该方法能够克服强噪声的干扰，保持较高的跟踪精度。

图16 与ECO方法的焊接结果比较。对于每个焊接，这两个图分别显示了轨迹跟踪效果和跟踪残余误差。（a）（c）（e）ECO方法的结果。（b）（d）（f）我们提出的方法的结果。

此外，为了进一步验证所提出方法的性能，我们将130 A焊接电流下的跟踪结果与文献的方法进行了比较，如图17和图18所示。可以看出，当跟踪不同类型的焊缝时，所提出的方法优于文献中的方法。所提出的跟踪方法在减小焊缝跟踪的平均误差和最大误差方面具有更大的优势，可以进一步提高焊接精度。此外，通过将我们在图18中焊接电流为130A时的焊接结果与焊接电流为150A时的结果进行比较，可以看出，在由不同焊接电流引起的不同强度的噪声干扰下，所提出的方法可以将平均焊接误差保持在0.2mm以内，最大误差保持在1.5mm以内。这进一步证明了所提出的焊缝跟踪方法的稳定性和鲁棒性。图19示出了所提出的跟踪方法的物理结果。

图17 焊接结果与文献方法的比较。（a） B-C型煤层的结果。（b） L-C型煤层的结果。（c） L-S型焊缝的结果。

图18焊接误差比较。

图19 焊接结果的物理显示。

5.5.讨论

在本文中，为了从采集的焊接图像中获得更多的位置信息，在激光视觉传感器中使用了三线激光发生器。实际上，由于所提出的焊接图像修复网络是由有噪声和无噪声的一对一图像训练的，因此它可以学习从有噪声的焊接图像到相应的无噪声图像的映射。

在焊接实验中，在不同的焊接电流下焊接了三种类型的Q235工件，获得了良好的跟踪结果。事实上，不同焊接材料和焊接工艺产生的焊接图像的全局特征没有太大差异。此外，由于在网络训练中同时使用对接型和搭接型焊缝图像，因此优化的修复网络可以在实践中处理两种类型的焊接，而无需重新训练网络。当在训练过程中添加其他类型的焊缝图像时，最终获得的优化网络也可以实现其他类型焊缝图像的修复和跟踪。特定类型焊缝训练数据的多样性越好，优化修复网络的鲁棒性越好，生成的恢复图像越精确。

焊接过程中的噪声干扰是基于结构光视觉的焊缝跟踪中最基本的问题。本文提出的基于CGAN的焊接图像修复方法可以有效地解决这一问题。该方法具有通用性，可以集成到其他焊缝跟踪算法中，用于实时焊接图像修复，为提高焊接精度提供了一个很好的思路。

6.结论

(1)为了解决基于结构光视觉的焊缝跟踪中强噪声（如电弧和飞溅）的干扰问题，提出了一种基于CGAN的焊接图像修复方法。我们构建了修复网络的体系结构，设计了网络训练的损失函数，并提出了一种具体的方法来收集有噪和无噪的一对一匹配焊接图像训练数据。通过训练，获得了一个鲁棒的修复网络，可以有效地恢复实时采集的焊接图像训练样本。

(2)为了实现精确的自动焊缝跟踪，我们研究了经典的目标跟踪算法，并提出了一种嵌入修复网络的焊缝跟踪方法，用于提取焊缝特征点。

(3)基于提出的方法，我们进行了离线跟踪测试和实际焊接对比实验。离线比较测试表明，在将修复网络嵌入到原始跟踪算法中用于训练样本去污后，可以显著降低平均和最大跟踪误差。焊接对比实验结果表明，在激光条与熔池距离为15mm、焊接电流为130A或150A的焊接条件下，采用基于CGAN和ECO的修复跟踪方法，平均焊接误差保持在0.2mm以内，最大误差保持在1.5mm以内。因此，它优于现有的焊缝跟踪方法。

(4)实践证明，焊缝跟踪模型训练样本去污的思想是正确可行的。该方法在防止焊缝跟踪过程中的漂移现象，增强跟踪系统的鲁棒性和稳定性，提高焊接精度方面具有显著优势，对工业焊接生产具有重要意义。

来源：Conditional generative adversarial network-based training image inpainting for laser vision seam tracking, Optics and Lasers in Engineering, doi.org/10.1016/j.optlaseng.2020.106140

参考文献：Investigation of an array technique for robotic seam tracking of weld joints, IEEE Trans Ind Electron, 38 (3) (1991), pp. 223-229