-
在 CCD 成像系统中，当物体不能清晰成像、光照条件改变或者物体亮度反差较大时，不可避免的要进行焦距、对焦、曝光调节，自动调焦、自动对焦和自动曝光已成为成像系统非常重要的功能之一。自动对焦、自动曝光算法多种多样，但每种算法都有其不足之处，体现在其精度和复杂性等方面。
目前，在图像检测、运动跟踪及医学等诸多领域，大多采用基于图像的自动调参技术，进行图像清晰度的调节，其通过对比分析成像系统从焦前到焦后不同位置采集到的图像以获取焦点位置，再根据图像清晰度评价函数计算的结果进行自动对焦。Duc Thien Luong等人[1]针对以往空间域和小波域聚焦评估方法存在的易受光照变化影响等缺点，提出了一种空间域和小波域相结合的视线跟踪相机聚焦评估方法。Minoru Harada[2]提出了一种计算自动聚焦过程关键参数“聚焦量”的带通滤波器设计方法，实现各种图像的最优比频响应。Yang Li等人[3]提出了一种基于噪声像素内能的鲁棒自动聚焦方法，可以突出图像的细节信息，使得评价结果接近人眼的主观评价。金哲彦等人[4]将图像清晰度融合深度学习算法解决了传统图像对焦算法运行速度慢，低信息量缺陷。调整相机曝光对于高精度的三维形状测量至关重要，为解决曝光程度不同导致图像产生局部高亮，从而丢失图像信息的问题，目前在自动曝光方面，通常采用两种方式进行调节，一种通过调节曝光时间进行自动曝光，另外一种为通过调节光圈孔径进行调节。在曝光时间调整上，给定一个具有未知表面反射率和照明条件的任意物体，由于程序非常复杂，很难快速确定高质量三维形状测量的最佳曝光时间。Gao Tan等人[5]为解决相机动态范围利用不足，而无法获取高质量原始图像的问题，提出一种基于二维熵的平面阵遥感图像自动曝光方法，将图像中的饱和区域和非饱和区域与原始图像进行区分。Jaroslaw Bernacki[6]对最小化图像中的过曝光区域进行了研究。Hwang Jun Ho等人[7]将自动曝光和手动曝光方式相结合，从而提出通过设定每张切片厚度的最佳检查条件来降低曝光剂量的措施，但仍然无法实现完全的自动曝光。Im Sunghoon等人[8]通过不同强度的自动曝光和强噪声估计图像深度，解决设备存在成像质量低和深度获取不准确的问题。这种方式通常需捕获一系列不同曝光的图像，并分析这些图像以确定测量的最佳曝光时间，这种需要耗费大量时间用于确定曝光时间，从而实现自动曝光的调节方式，对于需要实时动态调节曝光的场景，无法快速实时地进行曝光调整，因此文中主要采用物理接触的方式，通过调整光圈孔径进行研究。为实现参数自动调节算法，需要设计一套自动调参装置，使相机参数调整到图像成像质量的最佳位置。
在自动调参装置设计方面，管雯璐等人[9]为解决格林望远镜在环境温度变化较大时出现的离焦现象，为望远镜设计了基于微型滑轨的自动调焦装置，但这种方式需要外建运动装置以移动视觉系统，使得对焦成本增加。Bathe-Peters M. 等人[10]提出了一种流体透镜的显微镜可调焦器，通过在靠近显微镜物镜的后焦面安装可调谐透镜，利用外加电流连续调制即可实现显微镜的自动对焦，但对技术人员的知识储备需求比较高。Hojong Choi 等人[11]通过设计一个外部传动装置，以步进电机驱动透镜解决运动图像的对焦问题，但该文中只对一个透镜进行驱动，没有考虑多个透镜组的驱动。
结构光测量技术由于其成本低、体积小、质量轻、方便灵活等特点，在三维无接触式测量与检测中得到了广泛应用。相机标定作为视觉领域的关键基础和前提[12]，尤其在高精度测量方面，其标定结果会直接影响表面测量结果。标定图像采集的质量很大程度上影响了标定结果，使得图像质量对三维点云的重构质量产生影响[13-14]。其次，在测量领域，图像的质量直接影响后续测量的运算精度。因而，如何通过调节相机参数来保证所采集图片的质量，成为重要的研究内容。
综上所述，目前相机自动调参的研究均针对被测对象进行实时频繁调参，并不适用于结构光三维测量。尽管自动对焦与自动曝光技术在运动检测及图像检测中运用广泛，但针对结构光测量、高质量标定图像的获取方面，还没有相应的调节方案。其次，现有结构光测量环境下，工业相机参数多为依靠操作者手动调节和凭借主观意识对相机参数调节的结果进行判断，易出现标定精度效果差，甚至标定失败的情况，故而需要多次重复的参数调节过程，以获得最优的标定及测量结果。基于上述分析，为实现高标定精度及高精度测量，且解决手动调参缺少调参标准等问题，文中设计了一套基于齿轮传动机构的相机自动调参装置，并提出了一种相机高精度标定的智能调参方法。
-
在结构光测量中，为实现对叶片等薄壁件类零件的高精度测量，需先对相机镜头的焦距、对焦清晰度及光圈进行调节，将相机参数调节到最佳标定精度位置后，采集不同位姿的标定图像进行相机标定，而后通过结构光测量原理解得被测物的三维点云数据。其中，相机参数的调节作为标定的前置要求，极大地影响着相机标定的精度。
在标定过程中，采集到的标定图像应该能够清晰、准确地保留标定板中特征点及轮廓信息。在实际采集过程中，由于环境光、标定板颜色不同等原因，容易导致相机调节后的参数产生对焦不清晰、以及当前光圈不合适的现象，使得标定板的特征点无法被检测得到，难以满足图像质量要求，从而导致标定任务失败。为此，文中设计了一套参数自动调节装置，整体测量平台及自动调参装置，如图1所示。以对焦环调节为例，对调参装置结构进行说明。如图1 （b）所示，当电机工作时，电机输出轴通过联轴器带动调焦环主动齿轮转动，调焦环主动齿轮再通过齿轮传动的方式带动调焦环从动齿轮进行转动，通过设计此装置，将手动参数调节转化为自动参数调节。
图 1 整体测量平台及自动调参装置。(a)整体测量平台； (b)自动调参装置
Figure 1. Integral measuring platform and automatic parameter adjusting device. (a) Overall measurement platform; (b) Automatic adjustment device
-
文中采用由9行11列共99个白色圆形标记点构成的点阵标定板，在图像采集标定图像的过程中，由于环境、光照及感光元件内部成像系统会给所采集的图像信息带来噪声，对目标的检测带来许多不利的因素。因此，需对标定图像进行相应的滤波。高斯滤波对图像邻域内像素进行平滑时，邻域内不同位置的像素被赋予不同的权值，对图像进行平滑的同时，能够更多的保留图像的总体灰度分布特征，可以抗噪声干扰又能实现边缘检测精确定位。
由于标定板的背景不同，图像平均像素值就不同，当计算图像对比度时，会使图像对比度值变为动态变化值。为避免该情况的产生，并得出一个最优参数控制值，需对标定板图像进行感兴趣区域提取。由于关注的是标定板中白色圆形点阵与黑色背景间的关系，需要将标定板区域从图像中分割出来。
对应的图像对比度值C的计算，如公式（1）所示：
$$ C = \dfrac{{\displaystyle\sum {f(x,y)} }}{{\displaystyle\sum\limits_{i = 1}^m {\displaystyle\sum\limits_{j = 1}^n {f(i,j)} } }} $$ (1) 式中：分母部分表示标定板整幅图像的像素和；分子部分表示标定板的目标检测圆形部分的像素和。
-
Canny算子由于具有较高的稳定性和信噪比而在众多边缘算子中脱颖而出，因此图像对比度的调节使用Canny算子提取边缘。由于焦距的变化表现为被测物占整幅图像的大小变化，为研究焦距大小变化对标定精度的影响程度，文中将研究标定板面积大小占整幅图像的比例变化，来确定面积比例参数对标定精度的影响。
为计算面积，需要得到轮廓的角点信息以计算标定板的面积，如图2所示。由于光照、背景等因素的影响，检测出的轮廓中包含了许多非标定板轮廓，由于标定板作为整幅图像的主要物体，因此可以通过将检测出的轮廓进行最大闭合轮廓提取，以提取出标定板的闭合轮廓。轮廓及角点提取结果，如图2 (a)所示。面积占比为标定板面积与整图面积的比值，如图2 (b)所示，以海伦公式计算面积的公式为：
图 2 角点信息及标定板的面积。(a)角点提取； (b)面积占比
Figure 2. Angular point information and area of calibration plate. (a) Angular point extraction; (b) The proportion of area
$$ \left\{ \begin{gathered} {S_1} = \sqrt {{{{p}}_{\text{1}}}({{{p}}_{\text{1}}} - {L_1})({{{p}}_{\text{1}}} - {L_2})({{{p}}_{\text{1}}} - L)} \\ {S_2} = \sqrt {{{{p}}_{\text{2}}}({{{p}}_{\text{2}}} - {L_3})({{{p}}_{\text{2}}} - {L_4})({{{p}}_{\text{2}}} - L)} \\ \end{gathered} \right. $$ (2) 式中：
${{{p}}_{\text{1}}} = \dfrac{{({L_1} + {L_2} + L)}}{2}$ ；${{{p}}_2} = \dfrac{{({L_3} + {L_4} + L)}}{2}$ 。即标定板面积为：
$$ S = {S_1} + {S_2} $$ (3) 式中：S1为∆adc的面积；S2为∆abc的面积。
-
（1）标定板面积占比-焦距大小对标定精度的影响
镜头焦距主要用来确定视觉传感器的视场角大小和工作距离，不同的镜头焦距可以为测量要求提供不同的视场角和测量距离，所以焦距不同直接影响单目结构光测量系统的测量精度。随着焦距变化，在图像中表现为被测对象占整幅图像的比例。因此，为定量分析焦距大小对测量系统精度的影响，且保证检测结果的正确性，需对其他因素进行严格控制，其中，为避免标定板图像数量对结果产生影响，实际标定的标定板图像不小于三幅即可。文中采用五个位姿下的标定板图像进行研究，以相机镜头至标定板500 mm的距离，采集标定板不同占比大小的图像进行分析，占比大小的设定原则为，从最小可标定图像至标定板边缘不超出相机的视场范围。
重投影误差是指利用标定得到的相机内外参数，和畸变系数构建相机成像模型，对空间的三维点重新投影，得到的投影点坐标与实际成像点坐标之间的偏差。一般重投影误差越小，相机标定的精度越高。结果如表1所示，当标定板面积占比约为25%~35%时，标定的重投影误差约为0.056~0.057 pixel，具有最高的标定精度。
表 1 面积占比-标定误差表
Table 1. Area proportion-calibration error table
Order number 1 2 3 4 5 6 7 Calibrated image 
Proportion 18.07% 20.75% 25.17% 35.86% 44.99% 55.162% 64.46% Calibrated reprojection error/pixel 0.069 0.060 0.057 0.056 0.073 0.077 0.083 （2）对比度-相机曝光量对标定精度的影响
曝光是评价成像质量的关键参数之一。由于受光敏感度、自动增益等影响，光圈口径大小与图像对比度呈非线性关系。光圈是相机中控制进光量的一组零件，为提高成像质量，自动光圈控制的目标是控制光圈口径大小，使图像有合适的曝光量。因此可用图像的亮对比度值作为光圈调整的评价标准。
文中以200 fps的速度采集光圈直径递增的50幅由暗到亮的标定板图像，进行标定误差分析，将图像从暗到亮进行编号，结果如表2所示，图像亮度小于图号为4以下及39以上时，由于无法识别到标志圆，从而无法进行标定。因此，在满足可标定的前提下，即可将检测到的标定板的圆形标定个数11×9，作为是否可进行标定的前置条件。
表 2 光圈大小变化时的标定过程
Table 2. Calibration process when aperture size changes
Figure number 1-4 5-38 39-50 Calibrated process 
Results Failed Successful Failed 为分析光圈大小对标定误差的影响，在可标定范围内转动光圈采集69张图片并进行标定，结果如图3所示。由图中标定误差的变化趋势可知，在可标定前提下，光圈变化越大，标定精度逐渐提高并在最后趋于稳定。选取标定误差进入稳定的点作为分界点，文中选取图像序列号为50时作为分界点，此时对比度为0.00574，具有最高标定精度。
图 3 光圈大小-标定误差图
Figure 3. Aperture size-calibration error figure
（3）图像清晰度-对焦精度对标定精度的影响
由图4 (a)、图4 (b)可知，当清晰度呈开口向下的抛物线时，每幅图像的平均误差大体上呈现开口向上的抛物线，即相机标定时的平均误差基本与图像清晰度呈负相关关系，将清晰度值与标定误差进行拟合得公式（4），拟合曲线如图4 (c)所示。
图 4 图像清晰度、对焦精度对标定的影响。(a) 图像清晰度值；(b) 标定误差；(c) 图像清晰度与标定误差拟合关系
Figure 4. Influence of image clarity and focusing accuracy on calibration. (a) Image clarity value; (b) Calibration error; (c) Fitting relationship between image clarity and calibration error
$$ f(x) = 0.804\;9\cdot{x^{ - 0.420\;7}} $$ (4) 由图4可知，图像清晰度值越高，标定重投影误差越小。
-
文中设计的高精度标定自动调参系统，是利用调参步进电机R1、R2、R3自动调节三个光学参数，将其定位至相对应的最优参数区间内，实现视觉相机的自动调参。由上一节的研究可得最优标定板占比区间，根据小孔成像原理，当标定板面积占比p以及被测物的实际距离已知时，标定板像素面积si可由公式（5）~（8）计算得出：
$$ {{{s}}_i} = {l_{il}} \cdot {l_{iw}} $$ (5) $$ p = {s_i}/{s_a} $$ (6) $$ {s_a} = W{}_l \cdot {W_w} $$ (7) $$ {l_{il}}/{l_{iw}} = {w_{rl}}/{w_{rw}} $$ (8) 式中：
$ p $ 为标定板面积占比；si为标定板像素面积；sa为整幅图像的像素面积；$ {l}_{il}、{l}_{iw} $ 为标定板在像素坐标系下的长和宽；$ {w}_{rl}、{w}_{rw} $ 为标定板的实际长和宽；Wl、Ww为相机分辨率。图像x、y方向的焦距fx、fy，如公式（9）所示：
$$ \left\{ \begin{gathered} {f_x} = \frac{{u \cdot {w_l} \cdot {x_l}}}{{{w_{rl}} \cdot {W_l}}} \\ {f_y} = \frac{{u \cdot {w_w} \cdot {x_w}}}{{{w_{rw}} \cdot {W_w}}} \\ \end{gathered} \right. $$ (9) 式中：u为物距；wl、ww分别为相机对应的靶面长度及宽度；xl、xw分别为物体在相机中的尺寸。
因此，焦距fc为：
$$ {f_c} = \frac{{({f_x} + {f_y}) \cdot d}}{2} $$ (10) 式中：d为CMOS相机图像传感器芯片的像素尺寸。
由于文中使用的镜头为8~50 mm的变焦镜头，因此焦距值fc对应的旋转角度
$ \theta $ 为：$$ \theta = \left( {\frac{{{\theta _{\lim }}}}{{{f_{\max }} - {f_{\min }}}}} \right) \cdot {f_c} $$ (11) 式中：θlim为调焦环的极限转动角度；
$ {f_{\max }} $ 为最大焦距值；$ {f_{\min }} $ 为最小焦距值。为将步进电机旋转角度θ转换为调焦环所需的脉冲数，首先需计算电机旋转1°需要的脉冲数α，即当驱动器调节的细分数为
$ s $ 时，电机输出轴旋转1°所需的脉冲数α为：$$ \alpha = \frac{s}{{360^\circ }} $$ (12) 即旋转
$ \theta $ 角度时，电机输出轴所需的脉冲数pa为：$$ {p_a} = \alpha \cdot \theta $$ (13) 在文中的调参装置设计中，传递到调焦环的脉冲数为齿轮传动机构的传动比i，与电机输出轴所需脉冲数的乘积，即转动调焦环
$ \theta $ °时，所需脉冲数为：$$ {p_f} = {p_a} \cdot i $$ (14) -
针对现有的搜索策略搜索时间长、运算量大的缺点，为加快自动调参方法的运算速度，文中提出一种焦距-物距-对焦角度的粗定位方法，建立不同焦距、物距及对焦脉冲数之间的函数关系，提高电机搜索调节速度。首先，通过调焦函数模型控制电机初步定位于清晰度最优的位置，避免相机在离焦程度较大时的反复拍摄与计算，使得相机能够一步粗定位至最清晰图像位置附近，缩短电机搜索时间。分别以选定的25%、35%的标定板面积占比为例，进行粗调参模型函数的建立。由超声波传感器测量得到物距u，通过公式(10)计算出相应的焦距fc，驱动三个调参电机转动至满足参数要求的位置，记录当前位置。此时，实验参数要求如表3所示。
表 3 实验参数表
Table 3. Experimental parameter table
Parameter Numerical value1 Numerical value2 The portion of calibration plate area 25% 35% Object distance/mm 500,550,600,650,700,750,800,850,900 Fitting diagram 
Area ratio of calibration plate at 25%
Area ratio of calibration plate at 35%进行最小二乘拟合，标定板面积占比为25%、35%的拟合公式，分别如公式（15）、（16）所示：
$$ {\alpha _1} = 0.104\;3u + 8.347 $$ (15) $$ {\alpha _2} = 0.094\;35u + 24.55 $$ (16) 式中：α1、α2为对焦环转动角度。对焦环电机工作时，首先根据调参函数模型进行粗定位，然后通过电机调参控制流程的原理进一步调节，直至标定板图像满足三个条件：标定板图像面积占比为25%~35%，图像清晰度为最大值，图像对比度大于0.00574，满足条件后即调参完毕。
-
清晰度评价函数是实现自动对焦的关键因素，是对图像细节信息的描述。梯度函数描述的是边缘信息，因此边缘信息越丰富的图像，其清晰度评价值也越高。分别以梯度函数（Roberts函数、Tenengrad函数、Brenner函数、Variance方差函数）、频域函数（DFT二维离散傅里叶变换函数、DCT离散余弦变换）、Entropy信息熵及统计学评价函数（Range灰度直方图函数、Vollaths自相关函数）进行14幅图像的清晰度判断，判断结果如图5所示。由图5可见，Brenner函数[15]由于具有简单、抗干扰能力强等特点，因而在所有梯度评价函数中表现优越。
图 5 不同评价函数对比结果
Figure 5. Comparison results of different evaluation functions
Brenner函数的表达式如公式（17）所示：
$$ \begin{split} F = \displaystyle\sum\limits_x {\displaystyle\sum\limits_y {{{\left(f(x + 2,y) - f(x,y)\right)}^2}} } \end{split}$$ (17) 式中：f （x，y）表示图像f对应像素点（x，y）的像素值。
但传统的Brenner只是计算图像在x方向相邻两个像素灰度差的平方，并以此计算图像的清晰度。其缺点包括：一是针对整幅图像进行灰度值计算，运算量大且耗时长，缺点二是由于只计算x方向的信息，忽略了y方向的图像信息，对清晰度为微小变化的图像序列不能够快速地定位，且通常将图像中低频部分的像素代入公式求和，使得计算效率低且对图像灰度信息的敏感度较弱，以上两个缺陷使得传统的Brenner函数无法快速精准地进行对焦。
-
对焦窗口的选择对动态实时对焦的准确度及效率有很大的影响，对焦窗口越大，对焦运算时间越长，且增加了图像中的无效背景信息，影响对焦目标的准确性；对焦窗口过小，则可能失去感兴趣区域的目标信息。对焦窗口的选择则反映了是否符合整幅图像的清晰度判断，对焦区域的错误选择，会导致整幅图像的最清晰度图像的定位错误。为了解决这些问题，参考文献[16]通过手动与自动窗口相结合的方式，将对焦窗口始终保持在感兴趣的区域，但仍然无法做到对焦窗口的全自动选择。
文中提出基于Canny算子的自适应对焦窗口选择方法。首先，利用Canny算子对对焦目标进行边缘检测，并进行角点提取后进行感兴趣区域提取；然后，从感兴趣区域中选择对焦中心区域，从而实现对焦窗口对对焦目标的自适应定位与窗口选择。自适应对焦窗口的实现算法流程，如图6所示。
图 6 自适应对焦窗口算法流程
Figure 6. Adaptive focus window algorithm flow
-
由于传统Brenner函数只计算单一的x方向的像素信息，因此丢失了y方向的像素信息，通过上述对传统Brenner函数的缺陷分析，文中通过考虑y方向的像素，增加函数对图像灰度信息的敏感程度。改进函数如公式（18）所示：
$$\begin{split} F = \sum\limits_x {\sum\limits_y {\left[{{(f(x + 2,y) - f(x,y))}^2} +\right. } } \left. {(f(x,y + 2) - f(x,y))^2}\right] \end{split} $$ (18) 对10幅图像采集时，分别用改进Brenner函数与传统Brenner函数评价，其对焦评价结果如图7(a)所示。由图中曲线可以看出，改进函数较传统函数在正焦处的曲线斜率更加倾斜，说明改进的函数对图像的像素信息更加敏感。
图 7 对焦评价结果。(a) 传统与改进函数对比；(b)无阈值与自动阈值对比；(c) 不同评价函数对比结果
Figure 7. Focus evaluation results. (a) Comparison between traditional and improved function; (b) Comparison between no threshold and automatic threshold; (c) Comparison results of different evaluation functions
-
清晰图像具有更多的高频能量，因此可以通过设定阈值的方法滤除图像中比例较大的低频成分，对中高频部分灰度信息进行计算得到图像清晰度。而阈值的选择极大地影响着自动对焦的效果，因此需要根据图像信息设定清晰度评价函数的自适应阈值，低阈值为对焦窗口区域像素的方差，高低阈值的计算公式分别如公式（19）、（20）所示：
$$ {T_1} = \sqrt {\dfrac{{\displaystyle\sum\limits_{x = 1}^m {\displaystyle\sum\limits_{y = 1}^n {f(x,y) - M} } }}{{m \times n}}} $$ (19) $$ T_{2}=T_{1} \times 3.5 $$ (20) 式中：M为每幅图每个像素点的平方和；m为图像像素的长；n为图像像素的宽。
在双阈值进行逐像素计算比较时，首先比较x，y方向的像素和，再对每幅图像像素求方差低阈值，将每幅图像对焦窗口区域内的低阈值T1与图像的x，y方向中的较小的像素平方和进行比较，再将高阈值T2与两个方向中大的像素平方和进行比较，若满足T1>min(fx,y(a))与T2>max(fx,y(a))，则认为此像素点为信息量较大的部分，将该点像素的权重设为1并入清晰度的计算；反之，则该点权重为0，舍弃该点像素值。其中，fx,y(a)为x，y两个方向相邻两像素的像素差的绝对值。
自动阈值的对焦评价结果如图7 (b)所示，由图可知相对于改进无阈值设定的函数，自动阈值评价函数具有更尖锐的特点，能更加敏捷地识别出图像正焦位置。为说明改进Brenner自动阈值函数的优越性，调节镜头对焦环，控制相机匀速采集50幅模糊—清晰—模糊的图像序列，分别与各种典型函数进行对比，其对比结果如图7 (c)所示，由图可见所提出的改进Brenner评价函数在峰值区域更尖锐，斜率更陡峭，在远离峰值区域的平缓区域相较于其他函数也更平缓，在改进的Brenner评价函数中，不会出现局部峰值，避免相机在搜索定位最清晰的图像位置时，陷入局部最优。
其次，为说明改进Brenner函数的识别效率，找到不同函数的标定板区域中心的统一最小可识别区域及算法时间，由图7 (c)及表4可知，改进Brenner函数的运行时间相对较短，能够在较快的时间内进行更加迅速的正焦位置判断。
表 4 不同函数运行时间
Table 4. Run time of the different functions
Function Running time/s Function Running time/s Focus window/
pixelRobers 0.1997 DCT 1.1422 50×50 Tenengrad 0.4592 Entropy 0.1743 Brenner 0.1719 Range 0.1008 Variance 0.1959 Vollaths 0.1883 DFT 0.5339 Improved brenner 0.1054 -
根据以上影响因素和规律的分析，基于文中提出的改进Brenner自动阈值函数及相关计算方法，文中提出一种自动调参电机搜索控制流程，如图8所示。
图 8 调参搜索算法流程
Figure 8. Parameter adjustment search algorithm flow
电机调参搜索流程如下：第一步，通过CMOS相机采集一帧图像，利用图像清晰度评价函数对图像进行评价，判断当前图像是否为最清晰的图像，若不是，则通过单片机控制超声波传感器测量得到当前物距，并依据初步对焦函数模型进行初步对焦，将焦距及对焦参数初步调整至最清晰图像位置附近。第二步，再采集一张当前初步对焦后的图像，再次判断当前电机位置是否可以确保图像最清晰，若不是，继续调节直至对焦参数定位至最清晰图像位置，同时判断标定板面积占比是否在规定范围内。第三步，进行光圈调节。首先，应保证图像对比度处于可以标定的条件下；其次，再将光圈调节至最高标定精度范围内。完成上述三步调节后，三参数的调整即完成。
-
实验采用的相关装置设备，其参数如表5所示。实验环境为Intel(R) Core(TM) i7-10750 H CPU @ 2.60 GHz，操作系统为Windows 10，在PC机上的Visual Studio 2017中，配合Opencv 3.4.11开源库进行。首先，利用自动调参方法进行相机参数调整，完成相机标定。然后，通过控制投影仪在被测物表面投射光栅，相机采集光栅图片进行多频外差解包裹后，生成三维点云数据。
表 5 采集及传动设备参数表
Table 5. Collection and transmission equipment parameter table
Camera parameters Model MER-130-30 UM-L Lens parameters Model VST zoom lens Ultimate angle of the focal 120 Ultimate angle of the focus/(°) 120 Ultimate angle of light circle/(°) 70 Focus/mm 8-50 Projector Model TJ-X20 H-1122 Micro projector Calibration plate Model GRB120-11×9 Size/mm 120×100 Number of dots 11×9 Diameter of the dot/mm 5 (Large) , 2.5 (Small) Precision/mm ±0.01 Centerline spacing/mm 10 Motor Step angle/(°) 1.8 Gear Gear ratio 1.74 在相机标定采集过程中，规定整个标定板图像必须在相机视场范围内。在调参后采集九个不同位姿的标定板图像，采用圆形标定算法进行标定，并采用重投影误差来判定相机的标定精度。
首先，采集光轴垂直处的标定板图像，以上述控制算法流程，控制电机转动到最优标定参数区间位置，并进行标定，标定过程如图9所示，相机标定的重投影误差如表6所示，获得的相机标定结果如表7所示。
图 9 相机标定过程
Figure 9. Camera calibration process
表 6 标定重投影误差表
Table 6. Calibration reprojection error table
Number Error (manual)/pixel Error (automatic)/pixel 1 0.0485379 0.0410620 2 0.0540240 0.0300827 3 0.0572928 0.0353055 4 0.0503478 0.0329988 5 0.0653224 0.0409480 6 0.0605263 0.0408079 7 0.0494101 0.0305996 8 0.0603156 0.0398761 9 0.0517374 0.0395038 Average error 0.0552763 0.0367982 表 7 相机标定参数
Table 7. Camera calibration parameters
Manual parameter adjustment Camera internal parameters [2715.768690, 0.000000, 677.444463;
0.000000, 2716.073682, 480.832432;
0.000000, 0.000000,1.000000]Distortion coefficient [−0.796240,−0.976369,
0.000137,−0.006140]Automatic parameter adjustment Camera internal parameters [2724.473145,0.000000,671.682251;
0.000000,2724.315674,482.934296;
0.000000,0.000000,1.000000]Distortion coefficient [−0.522759,−0.608818,
0.000105,−0.000919]由表6及表7的标定结果可以看出，采用文中所提出的自动调参方法，对三个参数都进行控制，可以使得标定板的占幅比、清晰度及光圈调整到最优位置，九个标定板位姿的平均标定重投影误差由0.0552763降低为0.0367982，精度提高了66.57%。其次，自动调参的畸变系数相对于手动调参更小，标定内参更加接近于实际值，从而使得成像质量的精度更高，标定精度进一步提高。
为进一步证明文中所提出的自动调参方法的有效性与优越性，下面将用自动调参后经过光栅投射图像采集及解包裹等步骤后，得到的不同复杂度的三维点云进行分析。分别用尺寸为100 mm×35 mm×10 mm，倒角为1 mm的标准量块点云、小型航空叶片点云，及手背点云获取的质量进行验证，标准量块点云如图10所示，航空叶片点云图、手背原图及最终测量效果，分别如图11、12所示。
图 10 标准量块点云。(a)标准量块原图；(b)手动调参标准量块点云；(c)自动调参标准量块点云
Figure 10. Standard gauge block point cloud. (a) Original image of the standard quantity block; (b) Manual tuning of the standard block point cloud; (c) Automatic adjustment of standard block point cloud
图 11 航空叶片点云。(a)手动调参航空叶片点云；(b)自动调参航空叶片点云
Figure 11. Aviation blade point cloud. (a) Manual adjustment of aviation blade point cloud; (b) Automatic adjustment of aviation blade point cloud
图 12 手背点云。(a)手动调参手背测量图及点云；(b)自动调参手背测量图及点云
Figure 12. Point cloud on the back of hand. (a) Manual adjustment of hand measurement map and point cloud; (b) Automatic adjustment of hand measurement map and point cloud
由图10~图12的点云数据可见，手动调参得到的标准量块表面布满波纹，表面的平面度不佳；叶片的细节特征不明显；手背的部分细节缺失程度较大。自动调参时，标准量块点云平面度好；叶片细节特征较为明显，且点云密度较均匀；手背的指甲特征及关节、皮肤的纹理明显，整只手臂点云特征完整。
为进一步对文中调参方法的精确性进行验证，通过对比不同调参方式测量所得的标准量块与叶片左上角缺口的长度，与真实值的误差进行分析。如图10 (b)、10 (c)及图11所示，在Geomagic中选取两种调参方式下的标准量块的尺寸及叶片同一缺口的尺寸（已知真实模型缺口尺寸为4 mm），经过测量两个点间的距离可知，对于标准量块，手动调参测得的尺寸为33.544306 mm，自动调参尺寸为33.377460 mm，对于减去倒角尺寸后的标准宽度33 mm来说，自动调参的测量结果更加接近真实值；对于叶片，手动调参的距离误差为0.6491 mm，自动调参的距离误差为0.0937 mm，测量精度提高了85.5%，由测量精度验证了文中自动调参方法的有效性。
-
针对光学系统利用结构光测量时，人为主观因素引入的无法避免的误差，导致测量前相机参数调节的随机性及重复繁琐的问题，设计了一套相机镜头智能调参装置，且提出了一种基于面积占比、图像清晰度及图像对比度的高精度标定自动调参方法，提高了测量精度。主要结论如下：
（1）根据薄壁曲面叶片等高精密零部件的测量需求，设计了一套工业用相机自动调参装置，以齿轮传动的方式，将相机标定前的手动调参步骤转变为基于三个调参电机的相机调参步骤，实现了相机参数的自动调整。调参装置可用于工业相机高质量标定图像的自动采集，且该装置在单一参数调节需求下，最快能在2 s内实现调参。
（2）对于调节相机参数的调焦环、对焦环、光圈环，分别转换为基于标定板图像面积占比、图像清晰度及图像对比度三个量化参数，研究了标定板面积占比、图像清晰度及图像对比度对标定精度的影响规律，由规律的分析发现，当标定板面积占比为25%~35%、对比度大于0.00574且图像处于最清晰时，具有最高的标定精度。
（3）对相机完成自动调参后，利用拍摄不同位姿的标定板图像进行了相机标定实验，并利用标定后生成的点云进行了质量评价。三个实验结果表明，在文中的硬件条件及调参方法下，自动调参后的相机标定重投影误差下降66.57%，调参工作能在5 s内完成，且解相位后得到的标准量块点云平面度佳且测量精度更高；得到的叶片三维点云较手动随机调参后的点云精度更高，叶片缺口尺寸更加接近真实值；手背的指甲特征及关节、皮肤的纹理明显，整只手臂点云特征完整。
文中提出的高精度标定自适应调参方法，避免了人为调参中的主观判断误差，提高了标定精度及被测物的测量质量，但该方法仍有可完善之处。如果能配置精度物距测量设备或者将距离测量转变为基于图像的测距，则该调参方法能够定位更加精确，且基于图像的测距能够降低整体自动调参平台的成本，以一种更加经济的方式实现更高精度的测量。
Parameter adaptive calibration method in monocular structured light measurement
-
摘要: 针对结构光测量时手工调节相机参数易导致图像质量的随机性，进而导致标定精度的下降及调参环节重复繁琐的问题，提出了一种结构光测量的相机标定自适应调参方法。首先，设计了一套相机自动调参装置，根据三个调参环调节时的图像变化机理，选取标定板面积占比、图像清晰度及图像对比度三个参数，分别定义焦距调节环、对焦环及光圈调节环。其次，为实现相机的高精度标定自适应参数调节，针对传统Brenner函数的缺陷，通过一种改进的Brenner自动阈值函数，实现对图像清晰度的精确快速对焦，并对标定板图像感兴趣区域的前景与背景进行分割，计算图像对比度，根据标定的重投影误差，确定标定相机的最优调节区间，以自适应调参搜索控制方法进行标定参数调节。最后，为提高自适应标定调参时电机的搜索定位速度，建立了调参函数模型，并通过物距及像素长度自适应计算焦距。三维测量调参实验表明，相比于手工标定，基于提出的调参方法能在5 s内实现自动调参，且重投影误差减少66.57%。Abstract: Aiming at the problem that manual adjustment of camera parameters in structured light measurement was easy to lead to the randomness of image quality, which leads to the decline of calibration accuracy and the repetition of parameter adjustment, an adaptive parameter adjustment method for camera calibration in structured light measurement was proposed. Firstly, a set of camera automatic parameter adjustment device was designed. According to the image change mechanism of three parameter adjustment rings, three parameters of calibration plate area ratio, image clarity and image contrast were selected to define the focal length adjustment ring, focusing ring and aperture adjustment ring respectively. Secondly, in order to realize the high-precision calibration and adaptive parameter adjustment of the camera, aiming at the defects of the traditional Brenner function, an improved Brenner automatic threshold function was used to realize the accurate and rapid focusing of the image definition, segment the foreground and background of the region of interest of the calibration plate image, calculate the image contrast, and according to the calibrated reprojection error. The optimal adjustment interval of the calibration camera was determined, and the calibration parameters were adjusted by the adaptive parameter adjustment search control method. Finally, in order to improve the search and positioning speed of the motor during adaptive calibration, the parameter adjustment function model was established, and the focal length was calculated adaptively through the object distance and pixel length. The three-dimensional measurement parameter adjustment experiment shows that compared with manual calibration, the proposed parameter adjustment method can realize automatic parameter adjustment within 5 s, and the reprojection error is reduced by 66.57%.
-
图 1 整体测量平台及自动调参装置。(a)整体测量平台； (b)自动调参装置
Figure 1. Integral measuring platform and automatic parameter adjusting device. (a) Overall measurement platform; (b) Automatic adjustment device
图 2 角点信息及标定板的面积。(a)角点提取； (b)面积占比
Figure 2. Angular point information and area of calibration plate. (a) Angular point extraction; (b) The proportion of area
图 4 图像清晰度、对焦精度对标定的影响。(a) 图像清晰度值；(b) 标定误差；(c) 图像清晰度与标定误差拟合关系
Figure 4. Influence of image clarity and focusing accuracy on calibration. (a) Image clarity value; (b) Calibration error; (c) Fitting relationship between image clarity and calibration error
图 7 对焦评价结果。(a) 传统与改进函数对比；(b)无阈值与自动阈值对比；(c) 不同评价函数对比结果
Figure 7. Focus evaluation results. (a) Comparison between traditional and improved function; (b) Comparison between no threshold and automatic threshold; (c) Comparison results of different evaluation functions
图 10 标准量块点云。(a)标准量块原图；(b)手动调参标准量块点云；(c)自动调参标准量块点云
Figure 10. Standard gauge block point cloud. (a) Original image of the standard quantity block; (b) Manual tuning of the standard block point cloud; (c) Automatic adjustment of standard block point cloud
图 11 航空叶片点云。(a)手动调参航空叶片点云；(b)自动调参航空叶片点云
Figure 11. Aviation blade point cloud. (a) Manual adjustment of aviation blade point cloud; (b) Automatic adjustment of aviation blade point cloud
图 12 手背点云。(a)手动调参手背测量图及点云；(b)自动调参手背测量图及点云
Figure 12. Point cloud on the back of hand. (a) Manual adjustment of hand measurement map and point cloud; (b) Automatic adjustment of hand measurement map and point cloud
表 1 面积占比-标定误差表
Table 1. Area proportion-calibration error table
Order number 1 2 3 4 5 6 7 Calibrated image Proportion 18.07% 20.75% 25.17% 35.86% 44.99% 55.162% 64.46% Calibrated reprojection error/pixel 0.069 0.060 0.057 0.056 0.073 0.077 0.083 
下载: 导出CSV
表 2 光圈大小变化时的标定过程
Table 2. Calibration process when aperture size changes
Figure number 1-4 5-38 39-50 Calibrated process Results Failed Successful Failed
下载: 导出CSV
表 3 实验参数表
Table 3. Experimental parameter table
Parameter Numerical value1 Numerical value2 The portion of calibration plate area 25% 35% Object distance/mm 500,550,600,650,700,750,800,850,900 Fitting diagram
Area ratio of calibration plate at 25%
Area ratio of calibration plate at 35%
下载: 导出CSV
表 4 不同函数运行时间
Table 4. Run time of the different functions
Function Running time/s Function Running time/s Focus window/
pixelRobers 0.1997 DCT 1.1422 50×50 Tenengrad 0.4592 Entropy 0.1743 Brenner 0.1719 Range 0.1008 Variance 0.1959 Vollaths 0.1883 DFT 0.5339 Improved brenner 0.1054
下载: 导出CSV
表 5 采集及传动设备参数表
Table 5. Collection and transmission equipment parameter table
Camera parameters Model MER-130-30 UM-L Lens parameters Model VST zoom lens Ultimate angle of the focal 120 Ultimate angle of the focus/(°) 120 Ultimate angle of light circle/(°) 70 Focus/mm 8-50 Projector Model TJ-X20 H-1122 Micro projector Calibration plate Model GRB120-11×9 Size/mm 120×100 Number of dots 11×9 Diameter of the dot/mm 5 (Large) , 2.5 (Small) Precision/mm ±0.01 Centerline spacing/mm 10 Motor Step angle/(°) 1.8 Gear Gear ratio 1.74
下载: 导出CSV
表 6 标定重投影误差表
Table 6. Calibration reprojection error table
Number Error (manual)/pixel Error (automatic)/pixel 1 0.0485379 0.0410620 2 0.0540240 0.0300827 3 0.0572928 0.0353055 4 0.0503478 0.0329988 5 0.0653224 0.0409480 6 0.0605263 0.0408079 7 0.0494101 0.0305996 8 0.0603156 0.0398761 9 0.0517374 0.0395038 Average error 0.0552763 0.0367982
下载: 导出CSV
表 7 相机标定参数
Table 7. Camera calibration parameters
Manual parameter adjustment Camera internal parameters [2715.768690, 0.000000, 677.444463;
0.000000, 2716.073682, 480.832432;
0.000000, 0.000000,1.000000]Distortion coefficient [−0.796240,−0.976369,
0.000137,−0.006140]Automatic parameter adjustment Camera internal parameters [2724.473145,0.000000,671.682251;
0.000000,2724.315674,482.934296;
0.000000,0.000000,1.000000]Distortion coefficient [−0.522759,−0.608818,
0.000105,−0.000919]
下载: 导出CSV
-
[1] Luong D T, Kang J S, Nguyen P H, et al. Focus assessment method of gaze tracking camera based on ε-support vector regression [J]. Symmetry, 2017, 9(6): 86. doi: 10.3390/sym9060086 [2] Harada M, Obara K, Nakamae K. A robust SEM auto-focus algorithm using multiple band-pass filters [J]. Measurement Science and Technology, 2017, 28(1): 015403. doi: 10.1088/1361-6501/28/1/015403 [3] Li Y, Tang T L, Huang W. A robust auto-focus measure based on inner energy [J]. Optoelectronics Letters, 2017, 13(4): 309-313. doi: 10.1007/s11801-017-7052-3 [4] 金哲彦, 徐之海, 冯华君, 等. 基于对焦清晰度的双分辨相机变焦算法研究[J]. 红外与激光工程, 2020, 49(05): 125-133. Jin Z Y, Xu Z H, Feng H J, et al. Research on zoom algorithm based on dual resolution camera [J]. Infrared and Laser Engineering, 2020, 49(5): 20190463. (in Chinese) [5] Gao T, Zheng L, Xu W, et al. An automatic exposure method of plane array remote sensing image based on two-dimensional entropy [J]. Sensors, 2021, 21(10): 3306. doi: 10.3390/s21103306 [6] Bernacki J. Automatic exposure algorithms for digital photography [J]. Multimedia Tools and Applications, 2020, 79(19-20): 12751-12776. doi: 10.1007/s11042-019-08318-1 [7] Hwang J H, Jung K M, Choi J A, et al. A study on dose reduction method according to slice thickness change using automatic exposure controller and manual exposure in intervention [J]. Journal of Radiological Science and Technology, 2018, 41(2): 115-122. doi: 10.17946/JRST.2018.41.2.115 [8] Im S, Jeon H G, Kweon I S. Robust depth estimation using auto-exposure bracketing [J]. IEEE Transactions on Image Processing, 2018, 28(5): 2451-2464. [9] 管雯璐, 谭逢富, 靖 旭, 等. 基于环境温度反馈的卡塞格林望远镜自动调焦[J]. 光学精密工程, 2021, 29(08): 1832-1838. doi: 10.37188/OPE.20212908.1832 Guan W L, Tan F F, Jing X, et al. Automatic focusing of Cassegrain telescope based on environmental temperature feedback [J]. Optics and Precision Engineering, 2021, 29(8): 1832-1838. (in Chinese) doi: 10.37188/OPE.20212908.1832 [10] Bathe-Peters M, Annibale P, Lohse M J. All-optical microscope autofocus based on an electrically tunable lens and a totally internally reflected IR laser [J]. Optics Express, 2018, 26(3): 2359-2368. doi: 10.1364/OE.26.002359 [11] Choi H, Ryu J. Design of wide angle and large aperture optical system with inner focus for compact system camera applications [J]. Applied Sciences, 2019, 10(1): 179. doi: 10.3390/app10010179 [12] 张贵阳, 霍炬, 杨明, 等. 基于双更新策略加权差分进化粒子群的双目相机标定[J]. 红外与激光工程, 2021, 50(04): 176-186. Zhang G Y, Huo J, Yang M, et al. Binocular camera calibration based on dual update strategy weighted differential evolution particle swarm optimization [J]. Infrared and Laser Engineering, 2021, 50(4): 20190413. (in Chinese) [13] 任明阳, 王立忠, 付白强, 等. 高温数字图像相关法变形测量中玻璃介质误差校正[J]. 中国光学, 2021, 14: 1-12. Ren M Y, Wang L Z, Fu B Q, et al. Error correction of glass mediums in high-temperature digital image correlation deformation measurement [J]. Chinese Optics, 2022, 15(2): 327-338. (in Chinese) [14] 张申华, 杨延西, 秦峤孟. 针对光栅图像的快速盲去噪方法[J]. 中国光学, 2021, 14(3): 596-604. doi: 10.37188/CO.2020-0166 Zhang S H, Yang Y X, Qin Q M. A fast blind denoising method for grating image [J]. Chinese Optics, 2021, 14(3): 596-604. (in Chinese) doi: 10.37188/CO.2020-0166 [15] 赵辉, 鲍歌堂, 陶卫. 图像测量中自动调焦函数的实验研究与分析[J]. 光学精密工程, 2004(05): 531-536. doi: 10.3321/j.issn:1004-924X.2004.05.013 Zhao H, Bao J T, Wei T. Experimental research and analysis of automatic focusing function for imaging measurement [J]. Optics and Precision Engineering, 2004, 12(5): 531-536. (in Chinese) doi: 10.3321/j.issn:1004-924X.2004.05.013 [16] 张艳超, 孙强, 赵建, 李也凡, 等. 投影微分法实现多光谱成像仪的自动对焦控制[J]. 光学精密工程, 2013, 21(08): 2023-2030. doi: 10.3788/OPE.20132108.2023 Zhang Y C, Sun Q, Zhao J, et al. Auto-focusing adjustment of multi-spectral imager by differential projection method [J]. Optics and Precision Engineering, 2013, 21(8): 2023-2030. (in Chinese) doi: 10.3788/OPE.20132108.2023 -
点击查看大图
计量
- 文章访问数: 219
- HTML全文浏览量: 74
- PDF下载量: 47
- 被引次数: 0
