HTML
-
碳纤维复合材料因具有优越的力学性能和化学特性，广泛应用于航空航天、体育器械、纺织、化工机械和汽车工业等领域[1-3]。特别地，在航空航天领域，碳纤维复合材料的用量占比与日俱增，在波音787和空客A350XWB为代表的大型客机中复合材料的用量已经占到飞机结构重量的50%，整个机身、机翼结构几乎全部采用了碳纤维复合材料[4]。自动纤维铺放(Automated Fiber Placement，AFP)技术的发展为实现大型碳纤维复合材料结构件自动化和数字化制造提供了有效保障。铺放过程中受固结力、铺层速度、固化速度和融化速度等参数的影响，铺层表面会产生缺丝、间隙、气泡、扭转、外来物等缺陷，影响成型构件的力学性能，带来安全隐患[5]。
传统地，在铺好每一层预浸纱后，操作人员主要通过目视检查来保证铺层表面质量，但是预浸纱之间的低视觉对比度特性导致人工检查时耗费大量时间定位缺陷，并且辨别的种类可能存在误差，据统计铺放过程中进行铺层表面检查和机器维修的时间高达30%[6]，研究高效率和高精度的预浸纱缺陷视觉检测方法是提高AFP系统自动化程度的关键技术之一。实现缺陷精准分类和定位不仅依靠无损检测技术，还需要可靠的图像处理算法。国内，南京航空航天大学文立伟等[7]研究基于机器视觉与UMAC的自动铺丝成型构件缺陷检测闭环控制系统，对采集到的预浸纱铺层表面图像进行降噪处理提高图像质量，然后使用边缘提取算法计算预浸纱间隙和重叠的尺寸大小，将数据传输给运动单元进行反馈控制，以保证铺丝精度。魏天舒[8]研究用于检测预浸带缺陷的图像处理算法。结合分数阶微分和高斯滤波器进行图像预处理，保留缺陷信息的同时去掉噪声干扰；改进Otsu算法分割图像并使用Canny算子提取缺陷边缘；利用灰度共生矩阵的纹理特征提取预浸带图像中的缺陷特征并进行缺陷分类。国外，Berend Denkena等[9]提出结合红外热像仪和图像处理算法监控AFP铺放过程。通过评估压辊后面的感兴趣区域并应用边缘检测算法，提取和监控丝束的几何形状及其位置。铺放层压板不均匀截面温度与其周围表面温度不同，这些热点或冷点表示异常如架桥或异物缺陷，通过动态阈值可以检测到热点和冷点。Carsten Schmidt等[10]根据铺放过程中产生的温度差，提出一种基于红外热成像的AFP缺陷监控系统，可以定位丝束位置，发现某些温度异常，结合路径规划中的加工工艺可以判断缺陷种类。实验结果表明，该系统能够独立于先前铺放的层和纤维铺放方向定位每一铺层的铺放缺陷。
传统目标识别方法是先采用SIFT或HOG算子提取缺陷特征，然后使用SVM进行目标分类[11]。这种方法对缺陷特征描述有限，且人工干预多，检测精度低。卷积神经网络的快速发展，为图像领域的分类、识别和分割等任务[12-14]提供了更加有效的自动分析方法。Carsten Schmidt等[15]提出基于深度学习的无损检测方法用于对不同的CFRP预浸料热图进行缺陷检测和分类。实验结果表明，ResNet-101比提出的CNN-2网络的缺陷检测精度略好，但ResNet-101网络架构复杂，参数数量较多，对目标进行分类也需要更长的时间。Christopher Sacco等[16]开发了基于机器视觉的AFP铺层表面缺陷检测系统ACSIS，可以实现缺陷的分类和定位并且可以得到尺寸信息。具体地，采用改进的ResNet网络模型对图像进行语义分割，产生一系列对应于不同种类的像素blobs，然后使用MSA算法在含有缺陷的像素点边界周围放置一个多边形，记录多边形的顶点位置求得质心，并记录缺陷类型。
不同于基于锚点的目标检测器，anchor-free网络模型预测目标框的角点或是中心点，不会产生大量的候选框，网络结构简单，保持高检测精度的同时处理速度更快。Hei Law等[17]提出的CornerNet将预测目标框的位置转化为预测目标框的左上角点和右下角点，模型不需要设计锚点并生成大量多尺度的候选框，极大地简化模型的同时保证较高的检测精度。Xingyi Zhou等[18]在CornerNet的基础上提出ExtremeNet模型，先预测目标框的四个角点和中心点，然后对角点和中心点进行分组，进而求得目标框的尺寸信息。2019年，Xingyi Zhou等[19]提出CenterNet网络模型，根据骨干网络生成的关键点热力图预测目标中心点，然后直接从中心点对应的特征图中回归出其他属性，例如目标尺寸、3D范围、方向和位姿等。
文中研究基于改进CenterNet的AFP铺层表面缺陷检测方法。首先，针对CenterNet骨干网络参数数量多、检测速度受计算机硬件配置限制的问题，提出结合轻量级MobileNetV3网络和ASFF自适应特征融合作为骨干网络，构建AFP-CenterNet检测模型。然后提出一种根据ground-truth bounding box长宽比自适应调整高斯核函数带宽参数的方法，有效减少负样本数量，降低训练时的损失误差。最后，搭建实验平台采集AFP铺层表面红外图像，将AFP-CenterNet和CenterNet、SSD、YOLOv3网络模型分别进行训练。实验结果表明，改进的AFP-CenterNet模型在保持较高缺陷检测精度的同时，极大地减少模型参数数量，降低计算机存储资源占用率。自动纤维铺放加工时，工控机硬件配置有限，AFP-CenterNet具有明显的检测优势。
-
CenterNet网络的核心思想是通过关键点热力图预测目标中心点，然后从关键点对应的其他特征图中回归出目标的其他属性，例如目标尺寸、3D位置和位姿等，图1所示是CenterNet网络在目标检测任务中的预测输出。相较于基于锚点的深度学习目标检测器，CenterNet网络模型不会生成大量的候选框，也不需要非极大值抑制这类后处理，网络结构简单，保持高检测精度的同时处理速度更快。
Figure 1. (a) Keypoint heatmap; (b) Keypoint offset; (c) Object size
假设输入图像为
$I \in {R^{W \times H \times 3}}$ ，其中$W$ 和$H$ 分别是图像的宽度和高度，经过CenterNet骨干网络后输出R倍下采样特征图，特征图大小为$\dfrac{W}{R} \times \dfrac{H}{R}$ ，然后分为三路分别预测目标关键点、目标中心点偏置和目标框尺寸。图2所示是以ResNet-18为骨干网络的CenterNet网络结构示意图，其中输入图像为$512 \times 512 \times 3$ ，三个分支共享骨干网络输出的特征图$128 \times 128 \times 64$ 。经过一系列卷积操作后得到$C$ 类关键点热力图$\hat Y$ 、两张预测中心点偏置的特征图$\hat O$ 和两张预测目标尺寸的特征图$\hat S$ 。网络最后输出的特征张量为$128 \times 128 \times (C + 4)$ 。
Figure 2. Schematic diagram of CenterNet network with ResNet-18 as backbone network
预测关键点坐标时，提取热力图
$\hat Y \in {[0,1]^{W' \times H' \times 3}}$ 上的峰值点，最大个数为100个。具体地，遍历热力图，将当前点和相邻的8个点的热力值进行比较，如果该点热力值大于等于其相邻的8个连接点，则认为该点是关键点。假设${\hat P_c}$ 为热力图中检测到的种类C的关键点集合，$\hat P{\rm{ = }}\left\{ {({{\hat x}_i},{{\hat y}_i})} \right\}_{i = 1}^n$ 表示集合中的一个关键点。每个关键点的在原始图像中的位置用整数坐标$({x_i},{y_i})$ 表示，${\hat Y_{{x_i}{y_i}c}}$ 表示当前点的置信度，则目标框的坐标为：式中：
$(\delta {\hat x_i},\delta {\hat y_i}) = {\hat O_{{{\hat x}_i},{{\hat y}_i}}}$ 是预测的关键点$({\hat x_i},{\hat y_i})$ 对应的偏置误差；$({\hat w_i},{\hat h_i}) = {\hat S_{{{\hat x}_i},{{\hat y}_i}}}$ 表示关键点对应的目标框尺寸。每个目标有且只有一个中心点，该中心点只和像素位置有关，不存在锚点的重叠，不需要使用非极大值抑制处理，当目标的中心点坐标和目标框尺寸已知，就可以准确分类和定位目标，完成检测任务。 -
特征金字塔(Feature Pyramids Network, FPN)[20]是目前解决目标检测多尺度变化问题的常用方法。但FPN只是对不同特征层尺寸调整一致后进行简单的累加，不同特征尺度之间的不一致导致融合特征图噪声大，效果不佳。ASFF(Adaptively Spatial Feature Fusion, ASFF)[21]通过参数自适应调整不同特征层的融合比例，在空间上过滤冲突信息以抑制梯度反向传播时的不一致，改善特征比例不变性，并且降低推理开销。ASFF可以被应用于任何FPN形式的网络中，其融合方式的过程是可微分的，适用于反向传播，且实现方式简单、计算量小。
以三层ASFF结构为例，L1、L2和L3表示不同尺度的特征层，经过融合后得到
$y_{}^3$ ，融合后的特征图尺寸和L3特征图尺寸一致。${\rm{X}}_{}^{1 - 3}$ 表示将L1特征尺寸调整至和L3特征尺寸一致，L1、L2和L3对应的特征融合系数为$\alpha _{}^3$ 、$\;\beta _{}^3$ 和$\gamma _{}^3$ 。则ASFF-3对应的融合后的特征层如公式(2)所示：网络学习融合系数的过程如图3所示，首先将L1和L2特征层尺寸调整到L3特征图大小，得到
${\rm{X}}_{}^{1 - 3}$ 和${\rm{X}}_{}^{2 - 3}$ ，L3特征层即为${\rm{X}}_{}^{3 - 3}$ ，然后分别经过1×1卷积层将每层通道数压缩至16，通过concat沿通道方向拼接，接着再经过一个通道为3的1×1卷积层，利用Softmax操作使融合权重系数在[0,1]之间，最后得到L1、L2和L3对应的融合系数。
Figure 3. Process of network learning fusion coefficient
-
MobileNetV3[22]是一种轻量型深度卷积网络，结合了MobileNetV1[23]提出的深度可分离卷积和MobileNetV2[24]提出的具有线性瓶颈的反向残差结构，并引入了基于注意力机制的压缩和激励模块(Squeeze and Excitation block, SE-block)。深度可分离卷积将标准的卷积操作分解为深度卷积和逐点卷积，参数数量是标准卷积操作的
$\dfrac{1}{N} + \dfrac{1}{{D_K^2}}$ ，$N$ 为卷积核通道数，${D_K}$ 表示卷积核大小。反向残差结构先扩展输入特征图的通道，然后利用深度可分离卷积进行下采样缩小特征图尺寸，最后再缩减通道，能够增强网络模型的表达能力。SE-Block首先利用全局池化生成通道统计信息进行压缩操作，将全局空间信息压缩为一个通道描述符，然后经过两个全连接层，最后使用Sigmoid激活函数进行激活操作，使得网络中有效特征权重增大，无效特征权重减小，加强网络学习能力。和其他深度卷积神经网络相比，MobileNetV3通过使用深度可分离卷积极大的减少网络参数数量，降低模型内存占用率，适用于计算机硬件配置有限的工业加工现场。针对目标检测任务中的多尺度变化问题，使用自适应特征融合提高网络模型的表达能力，改善特征比例不变性。
结合MobileNetV3-Large和ASFF作为AFP-CenterNet骨干网络，模型结构示意图如图4所示。去除MobileNetV3-Large网络最后的平均池化层和
$1 \times 1$ 卷积层，得到4倍下采样特征图C2、8倍下采样特征图C3、16倍输出特征图C4和C5和32倍下采样特征图C6。在FPN融合的基础上，进一步结合ASFF，输出4倍下采样特征图P2，然后分为三路，分别经过一系列卷积操作后得到六张关键点热力图预测目标中心点位置、两张特征图预测目标中心点偏置和两张特征图预测目标框大小。
Figure 4. Structure diagram of AFP-CenterNet network
为了提高AFP-CenterNet网络对目标几何变换的建模能力，在M6、M5、M3上采样之前先使用可变形卷积DCNv2将通道分别变化为112、40和24，在合理的范围内增大目标感受野。然后对浅层特征M6、M5、M3利用转置卷积上采样后分别和同通道同尺寸的深层特征层C5、C3和C2相加得到M5、M3和M2，这就是FPN结构。
在此基础上对FPN融合后得到的特征图进一步使用ASFF融合。ASFF一共有4层，分别是32倍下采样特征图M6、16倍下采样特征图M5、8倍下采样特征图M3和4倍下采样特征图M2，在进行加权相加时L1~L4层的特征图尺寸大小和通道维度必须相同，需要对不同层的特征图做上采样并调整通道数。采用的方式是先通过1×1可变形卷积将M6、M5、M3调整至与M2通道数一致，再用转置卷积分别将M6、M5、M3进行8倍上采样、4倍上采样和2倍上采样得到和M2(X4)同尺寸和通道维度的X1、X2和X3，四层对应的特征权重系数分别为
$\alpha $ ，$\;\beta $ ，$\gamma $ 和$\delta $ ，ASFF融合后得到特征图P2，如公式(3)所示。融合系数在网络训练时利用反向传播求得。 -
模型训练时的损失由三部分构成：中心点预测损失
${L_k}$ 、中心点偏置损失${L_{off}}$ 和目标框尺寸预测损失${L_{size}}$ ，如公式(4)所示：式中：
${\lambda _{off}}$ 和${\lambda _{size}}$ 分别为中心点偏置损失${L_{off}}$ 和目标框大小损失${L_{size}}$ 的权重系数，文中${\lambda _{off}}$ 取1，${\lambda _{size}}$ 取0.1。训练前，需要将GT box(ground-truth bounding box)通过公式(5)所示的高斯核函数映射到不同种类对应的热力图
$Y$ 上，作为训练时理想的目标中心点位置。采用公式(6)所示的焦点损失作为计算预测目标关键点的损失函数。其中，$\alpha $ 和$\;\beta $ 是超参数，分别取2和4，N表示每一类热力图中的关键点数量。骨干网络输出的特征图尺寸相比于原始输入图像的尺寸缩小了
$R$ 倍，目标关键点的坐标位置是由关键点热力图${\hat Y_{xyc}}$ 预测所得，计算目标中心点在原始输入图像上的位置时，会因整数和浮点数之间的精度转换问题产生误差。通过添加关键点位置偏差损失$\hat O \in {R^{W' \times H' \times 3}}$ 可以补偿精度转换带来的误差。同一种类的所有目标关键点使用相同的偏置损失函数，采用如公式(7)所示的最小绝对值误差函数进行训练。式中：
$\tilde p$ 表示热力图$\hat Y$ 预测到的关键点；${\hat O_{\tilde p}}$ 表示预测出来的偏置；$p$ 指的是目标关键点$\tilde p$ 对应的实际目标框的真实中心点；4指的是下采样的倍数。计算目标框尺寸大小损失时，假设
$ ({x}_{1}^{(k)}， {y}_{1}^{(k)}， {x}_{2}^{(k)}， $ $ {y}_{2}^{(k)})$ 是目标$k$ 的GT box坐标，所属类别为${c_k}$ ，中心点${p_k}$ 的坐标为$\left(\dfrac{{x_1^{(k)} + x_2^{(k)}}}{2},\dfrac{{y_1^{(k)} + y_2^{(k)}}}{2}\right)$ 。使用关键点热力图$\hat Y$ 去预测所有种类的中心点。在模型训练之前，对每个目标k的尺寸进行回归，计算出${S_k} = (x_2^{(k)} - x_1^{(k)}, $ $ y_2^{(k)} - y_1^{(k)})$ 。为了减少回归的难度，使用$\hat S \in {R^{W' \times H' \times 3}}$ 预测目标框尺寸，最小绝对值误差作为损失函数，如公式(8)所示： -
训练时需要先将真实目标框GT box映射到热力图上以便计算预测目标中心点时的损失，但是不能只将GT box的中心点对应的热力值置为1。图5(a)所示，红色矩形框为标注好的GT box，但是绿色矩形框也能很好的包围目标。如果模型在检测时得到类似的框，可以将其保留。于是CenterNet提出只要预测的关键点所对应的目标框和GT box的左上角点或右下角点在某一个半径为r的圆形内，并且预测的目标框和GT box的交并比大于给定的阈值，文中设为0.7，则这些点的热力值不直接置为0，采用如公式(5)所示的二维高斯核函数得到一个大于0小于1的热力值。
Figure 5. (a) GT box and feasible boxes; (b) GT box heatmap obtained using a circular to filter feasible boxes; (c) GT box heatmap obtained using a ellipse to filter feasible boxes
文中在此基础上提出结合使用椭圆筛选可行框，将GT box映射到热力图上，热力图上生成一个椭圆形，椭圆的横轴和纵轴随着GT box尺寸进行变换。图5中的(b)和(c)是分别使用圆形和椭圆形将GT box映射到热力图上的情况。当目标的GT box长宽比较大(大于5)或者比较小(小于0.2)时，如果使用圆形筛选可行的目标框，热力图生成一个高斯圆，会造成除了可靠的目标框之外还有大于0的热力值，使用椭圆筛选可行的目标框可以保证椭圆中的每个点对应的目标框都是有效的、可靠的。
实际上除了GT box的中心点以外其他可行框都是负样本，负样本会产生损失，离GT box中心点越近的点的热力值越大，产生的损失越小，反之越大，如果使用圆形去判断和筛选，会造成负样本数量过多，损失误差较大。
根据GT box长宽比自适应调整高斯核函数中的带宽参数能够有效的减少负样本数量，降低损失误差。首先根据GT box的长宽比确定使用圆形预测还是使用椭圆预测，图6(a)所示是使用圆形预测时的情况，图6(b)所示是使用椭圆预测时的情况。在保证可行框和GT box的交并比大于0.7的前提下求解出最小的半径r，带宽参数
$\sigma _p^{} = r/3$ 。
Figure 6. Improved bandwidth parameter solution method
-
红外热成像的实质是将目标和背景之间的温度差转换成红外图像中的像素差，拍摄的图像不受预浸纱表面纹理信息的干扰，光源也不会影响红外图像的成像效果，预浸纱缺陷目标和非缺陷背景之间的对比度明显优于可见光图像。AFP红外数据采集平台采用脉冲激励红外热成像法，激励热源为卤素灯，加热灯功率为2 000 W。根据实验，当两个灯源之间的距离为0.6 m、角度为
$20^\circ $ 时，采集到的图片效果最佳。相机型号是Xenics公司的Gobi-640-GigE长波红外相机，分辨率为$640 \times 480$ ，像元尺寸17 μm，相机工作温度范围为−40~60 ℃，最大频率为50 Hz，热灵敏度为55 MK (30 Hz，300 K，F/1)。数据采集平台如图7(a)所示。受进给速度、固化速度、固结力和铺层速度等工作参数影响，铺放过程中常出现缺陷、间隙、搭接、架桥、扭转、褶皱、劈裂、外来物和气泡等缺陷，结合红外相机采集到的数据，文中主要研究如图7(b)所示的六种缺陷类型，包括外来物(foreign objects)、间隙(gap)、褶皱(puckering)、气泡(bubble)、扭转(twist)和缺丝(missing tow)。红外图像中的架桥和丝束劈裂等缺陷对比度也很明显，但现场铺放过程中这些缺陷出现的频率较小，为了保证模型学习的准确性，文中不做研究。
Figure 7. (a) Data acquisition platform; (b) Infrared images of six typical kinds of AFP laminated surface defects
总共采集1500张AFP铺层表面红外图像，部分数据是在自动纤维铺放过程中采集，但是由于现场铺放加工时产生的缺陷数量有限，于是人为地铺放了一部分缺陷，其中含有缺陷的图像共838张。对AFP红外图像进行标定后，统计六类缺陷个数分别为：缺丝(1053)，间隙(1227)，扭转(1431)，褶皱(957)，气泡(1 862)，外来物(656)。将1500张标定好的红外图像用作后续训练检测模型的数据集。
-
数据集制作时采用LabelImg对AFP红外图像进行标注，得到标准COCO格式的AFP红外数据集。将数据集划分为三类：训练集、验证集和测试集，比例为7∶2∶1，即训练集1050张，验证集300张，测试集150张。验证集用来观察AFP-CenterNet网络在训练过程中的拟合情况，如果出现过拟合需要立即停止训练。
采用Windows10操作系统，计算机内存为64G，处理器型号为Intel Core i7-9700K，显卡型号为NVIDIA GeForce RTX 2080，深度学习框架使用Pytorch 1.2.0，CUDA 10.0，CUDNN 7.4.0。
使用小批量随机梯度下降法来训练模型，批大小设置为50，进行小批量训练，初始学习率为
$1.25 \times $ $ {10^{ - 4}}$ ，随着迭代次数增多不断的降低学习速率，动量设置为0.9，训练周期为140个epoch，每隔5个epoch进行一次验证。骨干网络输出的特征图进行4倍下采样，需要将输入图像尺寸预处理成$384 \times 384$ ，则输出热力图的尺寸大小为$96 \times 96$ ，对输入的图像，使用随机翻转、缩放、裁剪进行数据增强。 -
对于AFP铺层表面缺陷检测性能，需要考虑网络模型的检测精度和速度，同时由于生产加工时工控机硬件配置受到限制，需要考虑网络模型占用的计算机内存。
AFP数据集整理成标准COCO数据集格式，因此采用COCO数据集的AP、AP50、AP75作为检测精度指标。COCO数据集中所有的AP (Average Precision)默认为mAP (mean Average Precision)。预测样本时共有四种情况：FP (False Positive)表示预测出一个不存在的物体、FN (False Negative)表示没有预测到存在的物体、TP (True Positive)表示正确预测到存在的物体、TN(True Negative)表示算法正确预测出背景。Precision表示符合要求的正确识别物体的个数占总识别出的物体个数的百分数，如公式(9)所示：
式中：
$t$ 表示预测目标框和GT box的交并比阈值，AP50表示$t = 0.5$ 。检测速度采用单帧检测时间和每秒检测的帧数(Frames Per Second, FPS)作为评价指标。
-
训练时，AFP-CenterNet网络总共迭代140个epoch，模型损失和迭代次数之间的趋势变化图如图8所示。模型在迭代到第30个epoch时损失值的下降幅度迅速减小，损失值小于1.5，进入平缓区。迭代次数达到60次，损失值开始小于1，在迭代次数达到80时，损失值基本保持不变，并且训练损失和验证损失基本相等。以上结果表明，AFP-CenterNet模型的损失值能够在一定的迭代次数内收敛，网络能够达到预期的训练效果，具有稳定性。
Figure 8. Graph of changes in loss value
分别以DLA-34，ResNet-18和ResNet-101作为CenterNet的骨干网络和文中提出的AFP-CenterNet网络模型进行训练，使用标准COCO数据集的评价指标，在AFP红外数据集上的检测结果对比情况如表1所示。
Network model AP AP50 AP75 Time/ms FPS Memory/MB CenterNet(DLA-34) 0.727 0.926 0.753 81 12.3 77.0 CenterNet(ResNet-101) 0.693 0.904 0.728 93 10.7 204.0 CenterNet(ResNet-18) 0.626 0.825 0.647 31 32.2 60.3 AFP-CenterNet(MobileNetV3+ASFF) 0.694 0.902 0.731 42 23.8 12.9 Table 1. Detection results of CenterNet and AFP-CenterNet on AFP infrared data sets
从表1数据可知，AFP-CenterNet网络模型的检测精度AP能够达到90.2%，略低于以DLA-34为骨干网络的CenterNet网络，但是和ResNet-101基本持平，并且和ResNet-18相比高出7.7%。虽然以DLA-34和ResNet-101为骨干网络时CenterNet网络的检测精度略高于AFP-CenterNet，但是检测速度比AFP-CenterNet将近慢了一倍。此外，AFP-CenterNet网络模型容量和以DLA-34、ResNet-101、ResNet-18为骨干网络的CenterNet网络模型相比分别降低了83.2%、93.6%和78.6%，极大地降低了计算机硬件和存储资源的占用情况。
为了验证anchor-free算法相比于基于锚点预测候选框的检测算法具有更好的性能，文中还分别使用了SSD和YOLOv3作为单端检测的典型算法和AFP-CenterNet进行比较，在AFP红外数据集上的检测结果如表2所示。
Network model AP50 Model memory/MB SSD 0.806 86.5 YOLOv3 0.819 235.0 AFP-CenterNet 0.902 12.9 Table 2. Detection results of different network models on AFP infrared data sets
分析表2中的数据可知，和SSD、YOLOv3相比，AFP-CenterNet检测精度分别高出9.6%和8.3%。基于中心点预测目标能够有效的避免基于锚点预测候选框时计算量过大、非极大值抑制操作需要设置阈值等影响网络处理速度和检测精度的操作。和SSD、YOLOv3相比，AFP-CenterNet网络模型的内存容量仅为12.9 MB，分别降低了85.1%和94.5%。
实际工业生产中，大多数工控机硬件配置有限，尤其是不具有GPU加速条件，这种情况下卷积神经网络模型的处理速度受到限制，需要在仅有CPU的硬件条件下完成AFP铺层表面缺陷检测任务。表3所示是仅使用CPU处理时，不同网络模型在AFP红外数据集上的检测结果。
Network model Time/ms FPS SSD 537 1.8 YOLOv3 451 2.2 CenterNet(ResNet-101) 425 2.3 AFP-CenterNet 235 4.2 Table 3. Detection speed of different network models only using CPU
分析表3中的数据可知，和SSD、YOLOv3、CenterNet(ResNet-101)相比，AFP-CenterNet在CPU环境下，单张检测速度分别高出302 ms、216 ms和190 ms。在仅有CPU计算环境下与SSD，YOLOv3和CenterNet (ResNet-101)相比，AFP-CenterNet具有明显的检测优势。
图9所示是AFP-CenterNet网络模型在AFP红外数据集上的单帧检测结果。图9(c)是六种表面缺陷对应的关键点热力图，从左至右，依次是间隙、缺丝、 扭转、气泡、褶皱和外来物，表示此红外图像中含有的六种缺陷数量分别为1、1、5、2、7和0。
Figure 9. Detection results of single frame infrared image
-
针对利用可见光图像检测AFP铺层表面缺陷时受光照条件差、预浸纱纹理相似度高、像素对比度低等因素影响，缺陷检测精度低，提出一种基于改进CenterNet的AFP铺层表面红外图像缺陷检测方法。考虑CenterNet参数数量庞大而工控机硬件配置有限，文中结合轻量级网络MobileNetV3和ASFF自适应特征融合作为骨干网络，构建轻量级anchor-free检测模型AFP-CenterNet，保持高检测精度的同时极大地减少网络参数数量、降低内存占用率。提出一种根据GT box长宽比自适应调整高斯核函数带宽参数大小的方法，有效减少负样本数量，降低训练AFP-CenterNet网络的损失误差。实验结果表明，AFP-CenterNet和CenterNet相比在保持高检测精度的同时，极大地降低网络模型内存占用量，减少处理时间。和基于锚点的SSD、YOLOv3网络相比，AFP-CenterNet具有高检测精度优势。实际工业生产时工控机硬件配置有限，在不使用GPU加速的条件下，AFP-CenterNet的检测速度近乎于SSD、YOLOv3和CenterNet(ResNet-101)的一半，为投入工业生产时检测AFP铺层表面缺陷提供了新的思路。
DownLoad: