-
文中构建的液体透镜调焦视觉测量系统结构如图1(a)所示。系统由液体透镜、成像镜头、倾角传感器和相机等部件组成,系统采用Optotune公司的液体透镜产品,型号为EL-16-40-TC-VIS-5D-C,其通光口径为16 mm,光焦度调节范围为−2D~+3D,液体透镜安装在成像镜头外侧,成像镜头焦距为50 mm,工作过程中对焦环锁定在无穷远位置。
图 1 液体透镜调焦系统光学结构与典型调焦系统工作原理
Figure 1. Optical scheme of liquid lens focusing system and working principle of typical focusing system
图1(b)、(c)所示分别为文中液体透镜调焦系统与传统机械调焦系统工作原理,当工作距离发生变化时,图1(c)所示的机械调焦系统通过机械运动改变系统后截距,使图像传感器平面与像平面重合,实现清晰对焦;图1(b)所示的液体透镜调焦系统通过调控输入电流,使液体透镜光焦度在0~+3D范围内改变,确保物平面始终与液体透镜前焦面重合,从而在333 mm~∞工作距离范围内实现基于液体透镜的电控对焦。
由调焦工作原理对比分析可知,液体透镜调焦系统是将机械调焦中的机械运动转化为液体透镜的焦距调控,从而实现快速无机械运动调焦。另一方面,液体透镜光学性能易受输入电流、环境温度和重力方向等因素影响,焦距、光轴方位等参数在工作过程中为变量,难以通过传统视觉模型进行内参标定。下面从液体透镜工作机理与外部因素影响原理出发,分析并建立液体透镜工作模型和相应误差量的补偿模型,作为研究系统内参标定方法的基础。
-
柔性薄膜腔液体透镜结构与工作原理如图2所示。当载流线圈电磁场与永磁体磁场方向相同时,控制腔中的液态光学介质在压力作用下进入光学腔,使光学腔柔性薄膜向外凸起,此时液体透镜焦距fliq'>0;载流线圈电磁场与永磁体磁场方向相反时,在相同机理作用下,液体透镜焦距fliq'<0。文中主要针对fliq'>0的工作状态进行研究。
图 2 柔性薄膜腔液体透镜结构与电控调节原理图
Figure 2. Structure diagram and electric controlling principle of liquid lens based on elastic membrane cavity
在图2所示的电磁致动器结构中,载流线圈轴线方向磁场强度H(z)可近似表示为:
$$ H{\text{(}}{\textit{z}}{\text{)}} \approx \frac{{{n_r}I{k_r}r_{\min }^2}}{{2{{\left( {r_{\min }^2 + {\textit{z}}_r^2} \right)}^{\frac{3}{2}}}}} $$ (1) 式中:I为线圈输入电流;rmin为线圈最内环路半径;zr为考察点与线圈平面距离;nr、kr分别为线圈匝数和层数。在磁场作用下,载流线圈电磁场对永磁体产生的电磁力FE表达式为[7]:
$$ {F_E} = {B_r}\int\limits_{{h_m}} {{A_m}\frac{{{\text{d}}H({{\textit{z}}_r})}}{{{\text{d}}{{\textit{z}}_r}}}{\text{d}}{\textit{z}}} \approx {B_r}{V_m}\frac{{{\text{d}}H({{\textit{z}}_r})}}{{{\text{d}}{{\textit{z}}_r}}} $$ (2) 式中:Br为永磁体剩磁;Am为永磁体底面积;Vm为永磁体体积。将公式(1)代入公式(2),并用C1表示常数项,可得:
$$ \left\{ \begin{array}{l} {F_E} \approx {C_1}I \\ {C_1} = - \dfrac{{3{B_r}{V_m}{n_r}{k_r}{{\textit{z}}_r}}}{{2r_{\min }^3}} \end{array} \right. $$ (3) 在电磁力FE的作用下,液体透镜柔性薄膜向外凸起,面型近似为球面,其中心高度为:
$$ \left\{ \begin{array}{l} {h_{\max }} =\dfrac{{(p_E+p_0)(1 - {\nu _e}){a^2}}}{{4{\varepsilon _0}{h_e}{E_m}}} \approx {C_2}I \\ {C_2} = \dfrac{{(1 - {\nu _e}){a^2}{C_1}}}{{4{\varepsilon _0}{h_e}{A_m}{E_m}}} \end{array} \right. $$ (4) 式中:pE为腔体中液态介质压强,且有pE=FE/Am;p0为液态介质初始压强,通常远小于pE,此处可忽略不计;Em为柔性薄膜的杨氏模量;νe为柔性薄膜的泊松比;a为柔性薄膜光学腔通光半径;he为柔性薄膜厚度;ε0为柔性薄膜的预应变。
根据球面几何关系与透镜焦距公式,可得液体透镜焦距表达式:
$$ \left\{ \begin{array}{l} {f_{liq}} = \dfrac{{{n_0}{R_e}}}{{{n_{liq}} - {n_0}}} \approx \dfrac{{{a^2}}}{{2{h_{\max }}({n_{liq}} - 1)}} = \dfrac{{{C_3}}}{I} \\ {C_3} = \dfrac{{{a^2}}}{{2{C_2}({n_{liq}} - 1)}} \end{array} \right. $$ (5) 式中:Re为液体透镜柔性薄膜曲率半径;n0、nliq分别表示空气折射率、液态光学介质折射率。由公式(5)可见,液体透镜焦距fliq与输入电流I成反比。对图1所示的液体透镜调焦光学系统结构应用光学系统组合焦距公式,系统总焦距可表示为:
$$ {f_{lens}}(I) = \frac{{{C_3}{f_{fix}}/I}}{{{C_3}/I + {f_{fix}} - {d_{lf}}}} = \frac{1}{{{C_4}I + {C_5}}} $$ (6) -
温度变化通过改变液体体积和折射率,使参量hmax和nliq发生变化,通过公式(5)对透镜焦距fliq造成影响。根据参考文献[12-13],在10~50 ℃范围内,酒精、硅油等常见液态光学介质的密度、折射率均与介质温度T成线性关系:
$$ \rho _{liq}^{} = {k_\rho }T + {b_\rho } $$ (7) $$ n_{liq}^{} = {k_n}T + {b_n} $$ (8) 首先考虑光学介质密度ρliq变化引入的影响。以T0为基准温度,当温度升高至T时,液态光学介质体积增加量为:
$$ \Delta {V^{(T)}} \approx {V_0}\frac{{\rho _{liq}^{(0)} - \rho _{liq}^{({\text{1}})}}}{{\rho _{liq}^{(0)}}} = \frac{{{V_0}{k_\rho }}}{{\rho _{liq}^{(0)}}} \cdot \Delta T $$ (9) 式中:V0为基准温度下的光学介质总体积;
$\; \rho _{liq}^{(0)} $ 为基准温度下的光学介质密度;$\; \rho _{liq}^{(1)} $ 为温度升高后的光学介质密度。由于介质密度相对变化量较小,在分母中使用$\; \rho _{liq}^{(0)} $ 代替$\; \rho _{liq}^{(1)} $ 进行约简。设薄膜凸出部分体积为VS,根据几何关系,基准温度下柔性薄膜中心高表达式为:
$$ {h_{\max }} \approx \frac{{2{V_S}}}{{\pi {a^2}}} $$ (10) 液态光学介质温度变化时,引起的体积变化量ΔV(T)与薄膜凸出部分体积VS相叠加,温度变化后薄膜中心高为:
$$ h_{\max }^{(T)} = \frac{{2({V_S} + \Delta {V^{(T)}})}}{{\pi {a^2}}} = {h_{\max }} + \frac{{2{V_0}{k_\rho }}}{{\pi {a^2}{\rho _0}}} \cdot \Delta T $$ (11) 当温度变化时,液态光学介质折射率按照公式(7)的关系变化。以T0为基准温度,当温度变化量为ΔT时,对应的折射率变为:
$$ n_{liq}^{(T)} = {k_n}(T + \Delta T) + {b_n} = {n_{liq}} + {k_n} \cdot \Delta T $$ (12) 将公式(11)、(12)代入公式(5),并用光焦度参数Dliq代替焦距参数,可得到温度变化量为ΔT时,液体透镜光焦度表达式:
$$ \begin{split} D_{liq}^{(T)} \approx &\frac{{2h_{\max }^{(T)}(n_{liq}^{(T)} - 1)}}{{{a^2}}} =\\ & \frac{2}{{{a^2}}}\left( {h_{\max }^{(0)} + \frac{{2{V_0}{k_\rho }}}{{\pi {a^2}{\rho _0}}} \cdot \Delta T} \right)\left( {n_{liq}^{(0)} - 1 + {k_n} \cdot \Delta T} \right) =\\ & D_{liq}^{(0)} + \left( {\frac{{D_{liq}^{(0)}{k_n}}}{{n_{liq}^{(0)} - 1}} + \frac{{4{V_0}{k_\rho }}}{{\pi {a^4}{\rho _0}}}(n_{liq}^{(0)} - 1)} \right)\Delta T + \frac{{4{V_0}{k_\rho }{k_n}}}{{\pi {a^4}{\rho _0}}}{(\Delta T)^2} \end{split} $$ (13) 硅油类液态光学介质折射率与温度之间的线性系数kn绝对值较小,可以忽略不计;同时,根据公式(5)可得光焦度与输入电流的关系Dliq=1/fliq=I/C3,用C6表示常数项,可得到基准温度等效电流
$ {I^{(0)}} $ 的表达式:$$ {I^{(0)}} \approx {I^{(T)}} + {C_6} \cdot \Delta T $$ (14) 由上式可知,在工作温度T下对液体透镜输入电流
$ {I^{(T)}} $ ,能够实现与基准温度T0下输入电流$ {I^{(0)}} $ 相同的焦距调节效果。在计算焦距时通过公式(14)求出的基准温度等效电流$ {I^{(0)}} $ 替代实际输入电流$ {I^{(T)}} $ ,能够补偿温度变化对系统焦距参数的影响。 -
当液体透镜以非水平方向放置时,由于重力方向与光轴方向不一致,透镜外形将产生非对称形变,透镜光轴方向也将沿重力方向偏移。
首先考虑液体透镜竖直放置的情形,采用图3所示的柱面模型对薄膜受力情况进行简化分析,令柱面方程为z=f(y)。
在柱面上沿X方向取一宽度为dx的窄带,并在窄带内高度为y的基准点向上截取高度为dy的区域PQRS。设薄膜张力为Te,液体重力Z方向分量为Fg,液态光学介质压力Z方向分量为Fp,根据作用力平衡关系FT+Fg+Fp=0建立微分方程,求解可得柱面与Y-Z平面交线方程:
$$ {\textit{z}} = - \frac{{{\rho _{liq}}ga}}{{{T_e}}}\left[ {\Bigg({y^2} - \frac{{{y^3}}}{{6a}} - \frac{4}{3}ay\Bigg) + j\Bigg({y^2} - 2ay\Bigg)} \right] $$ (15) 式中:j=(p0+pe)/2ρga为与致动器输入压强相关的变参量。由公式(15)可知液体透镜曲面顶点位置在重力作用下的偏移量Δyν仅与j相关,并且二者近似成双曲线关系,用qz表示常数项,可得关系式:
$$ \Delta {y_v} = - \frac{{{q_{\textit{z}}}}}{j} = - \frac{{2{q_{\textit{z}}}a{\rho _{liq}}g}}{{{p_0} + {p_e}}} $$ (16) 考虑液体透镜沿与竖直方向成θ角放置的情形,在公式(16)中用关于θ的一次函数
$ {q_z}(\theta ) = {k_q}\theta + {b_q} $ 近似表示参量qz与倾角θ之间的关系,并用gcosθ代替g,则液体透镜曲面顶点偏移量Δyv可表示为:$$ \Delta {y_v} = - \frac{{2({k_q}\theta + {b_q}){\rho _{liq}}ga\cos \theta }}{{{p_0} + {p_e}}} $$ (17) 接下来分析由液体透镜曲面顶点偏移Δyν引入的调焦光学系统光心偏移量Δyimg。如图4所示,重力变形后透镜曲面顶点O'处斜率tO'=dz/dy=0,在Δyν较小的情况下,根据公式(15),液体透镜几何中心点O处的斜率可近似表示为:
图 4 液体透镜曲面顶点偏移与主光线偏折角
Figure 4. Relationship between liquid lens' surface vertex offset and deflection angle of chief ray
$$ {t_O} = {t_{O'}} + \Delta {y_v} \cdot \frac{{{{\text{d}}^2}{\textit{z}}}}{{{\text{d}}{y^2}}}\left| {\begin{array}{*{20}{c}} {} \\ {_{y = a}} \end{array}} \right. = \Delta y\left( { - \frac{{{\rho _{liq}}ga}}{{{T_e}}}} \right)\left( {1 + 2j} \right) $$ (18) 设φ1'为光学系统主光线Lb经液体透镜折转后与光轴的夹角,根据几何光学成像关系,主光线对应像点(光心)在y方向的偏移量为:
$$ \Delta {y_{img}} = {f_{fix}} \cdot {\varphi _1}{\text{' = }}{f_{fix}} \cdot {t_O}\left( {n{}_{liq} - 1} \right) $$ (19) 式中:ffix为成像镜头焦距。整理以上各关系式,并用一次函数Te=keI+be近似表示薄膜张力与输入电流的关系,可得:
$$ \Delta {y_{img}} = {f_{fix}}\frac{{({k_q}\theta + {b_q})}}{j} \cdot \frac{{{\rho _{liq}}ga\cos \theta }}{{{k_e}I + b{}_e}}\left( {1 + 2j} \right)\left( {n{}_{liq} - 1} \right) $$ (20) 根据参考文献[11],液体透镜工作状态下,j值通常大于30,因此公式(20)中(1+2j)项可用2j近似代替,用C7、C8、C9表示常系数,可化简公式(20)得到光心竖直方向偏移量与夹角θ、输入电流I之间的关系:
$$ \Delta {y_{img}} \approx {C_7}\frac{{(\theta + {C_8})\cos \theta }}{{I + C{}_9}} $$ (21) -
为补偿温度、重力等环境因素对内参的影响,实现系统内参的准确标定,设计了图5所示的标定装置与相应的标定流程,并提出系统内参系数拟合标定方法。
-
由1.2节分析可知,基准温度等效电流I(0)是输入电流I(T)和温差ΔT的函数,通过在不同温度、不同输入电流下采集多组测量数据,即可通过拟合确定I(0)表达式各项系数。据此设计基准温度等效电流标定装置如图5(a)所示,主要包括平行光管、珀罗板、被测液体透镜、CMOS相机与计算机等器件。
基于该装置的基准温度等效电流标定流程如下:首先调整平行光管、液体透镜和CMOS相机相对位置,使三者光轴重合,然后调节液体透镜与CMOS相机间距至某一大于液体透镜最短焦距值并固定;将环境温度调至基准温度T0,改变液体透镜输入电流,使珀罗板图像清晰,记录此时图像中珀罗板某一线对间距像素数d0和输入电流I0(0),在预设温度范围内逐渐升高环境温度,在各温度点调节液体透镜输入电流,使珀罗板线对间距保持不变,记录n组输入电流值与温差值;升温至上限后,改变液体透镜与CMOS相机间距,重新从基准温度开始重复上述升温测量过程,共测量m次。利用上述m×n组数据,拟合求解基准温度等效电流表达式(公式(14))中的常数项参数C6。
-
包含液体透镜调焦组件的相机在重力作用下,主点将沿竖直方向偏移,偏移量与液体透镜倾角θ及输入电流I关系由公式(21)给出。为了确定式中系数C7、C8、C9,设计了图5(b)所示的标定装置。
装置由光纤激光器、光纤准直器、ND滤光片、被测液体透镜、成像镜头、倾角传感器、CMOS相机、可调倾斜台组成。在标定过程中,首先调节倾斜台使液体透镜光轴与重力方向重合,此时液体透镜沿水平方向放置,重力作用影响量为零,在该状态下调节各部件相对位置,确保光纤准直器发出的激光与系统光轴重合;从90°开始逐渐减小倾角值,在不同的倾角下记录若干组主点位置偏移量与输入电流数据,对主点重力偏移量表达式(公式(21))中的常系数参量C7、C8、C9进行拟合求解。
-
根据线性相机模型,相机坐标系下坐标为(Xc,Yc,Zc)的空间物点与图像平面共轭像点坐标(u,v)的关系可表示为[14]:
$$ s\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{f_x}}&0&{{u_0}} \\ 0&{{f_y}}&{{v_0}} \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_c}} \\ {{Y_c}} \\ {{Z_c}} \end{array}} \right] $$ (22) 式中:s为比例因子;等式右侧第一项为内参矩阵,其中fx、fy分别为像平面u轴、v轴归一化焦距,(u0,v0)为主点在u-v坐标系下的坐标。
对于液体透镜调焦相机,将公式(6)、(21)代入内参矩阵,使用α1、α2、α3、β1、β2、β3表示未知常系数,并用基准温度等效电流I(0)替代输入电流I,相机内参矩阵可表示为:
$$ A = \left[ {\begin{array}{*{20}{c}} {\dfrac{1}{{{\alpha _1}{I^{(0)}} + {\beta _1}}}}&0&{{u_0}} \\ 0&{\dfrac{1}{{{\alpha _2}{I^{(0)}} + {\beta _2}}}}&{{\alpha _3}\Delta {y_{img}} + {\beta _3}} \\ 0&0&1 \end{array}} \right] $$ (23) 考虑实际相机系统的光学畸变,设与理想像点(X,Y)对应的实际像点为(X′,Y′),二者关系为:
$$ \left\{ \begin{gathered} X = X' + {\delta _X} \\ Y = Y' + {\delta _Y} \\ \end{gathered} \right. $$ (24) 在考虑前两阶径向畸变和切向畸变的情况下,像点偏移量δX和δY的函数表达式为:
$$ \left\{ \begin{gathered} {\delta _X} = X\left[ {{k_1}({X^2} + {Y^2}) + {k_2}{{({X^2} + {Y^2})}^2}} \right] + {p_1}X(3{X^2} + {Y^2}) + 2{p_2}XY \\ {\delta _Y} = Y\left[ {{k_1}({X^2} + {Y^2}) + {k_2}{{({X^2} + {Y^2})}^2}} \right] + 2{p_1}XY + {p_2}X({X^2} + 3{Y^2}) \\ \end{gathered} \right. $$ (25) 式中:k1、k2为径向畸变系数;p1、p2为切向畸变系数。在变焦相机系统中,这四个畸变系数可以用下式表示[15-17]:
$$ \left\{ \begin{array}{l} {k_1} = {a_1}f_{mean}^2 + {a_2}{f_{mean}} + {a_3} \\ {k_2} = {a_4}f_{mean}^2 + {a_5}{f_{mean}} + {a_6} \\ {p_1} = {a_7}f_{mean}^2 + {a_8}{f_{mean}} + {a_9} \\ {p_2} = {a_{10}}f_{mean}^2 + {a_{11}}{f_{mean}} + {a_{12}} \end{array} \right. $$ (26) 式中:a1~a12为常系数;fmean=(fx+fy)/2,可通过相机线性模型内参矩阵相应元素求出。
由公式(24)、(26)可见,文中采用的液体透镜调焦相机内参模型待定系数共有18个,包括内参矩阵的六个待定系数α1、α2、α3、β1、β2、β3和非线性畸变参数的12个待定系数a1~a12;在由I(0)、θ唯一确定的每个工作状态下对相机进行标定,可建立关于上述系数的七个方程,对相机在三个以上不同工作状态下进行内参标定,即可通过拟合方法由超定方程组求出全部未知参量。
-
基于上节参数标定方法搭建图6所示装置进行基准温度等效电流标定、系统主点重力偏移标定和相机内参综合标定实验,对文中提出的标定方法可行性进行验证。
-
按照2.1节所述方案,搭建图6(a)所示标定装置。标定过程中,令系统基准温度T0为26 ℃,通过液体透镜内置温度传感器获取器件内部温度值,共在五个不同距离下重复温升标定步骤。
对各轮标定得到的基准温度等效电流、实际输入电流、温升值数据进行拟合,所得结果为图7所示的三维平面。将拟合所得系数代入公式(14)模型,可得基准温度等效电流表达式:
$$ {I^{({\text{0}})}}{\text{ = }}{I^{(T)}} + {\text{1}}{\text{.356}} \cdot \Delta T $$ (27) -
构建图7(b)所示的主点重力偏移标定装置,利用2.2节方法对公式(24)各项系数进行标定。其中相机与重力方向夹角调节步长为10°,在各测量角度下,输入电流范围为0~170 mA,电流调节步长为17 mA。测量过程中应用加权质心法求取激光光斑坐标,并采用基准温度等效电流对输入电流值予以补偿。
图8所示三维曲面为基于公式(21)模型对角度θ、输入电流I、主点沿v轴偏移量Δyimg关系的拟合结果。将拟合所得参数代入模型,可得主点重力偏移量表达式:
$$ \Delta {y_{img}} \approx - 334.312\;9 \cdot \frac{{(\theta - 142.191\;5)\cos \theta }}{{{I^{(0)}} + 1\;226.035\;4}} $$ (28) -
搭建图6(c)所示的相机内参标定系统,基于2.3节方法标定液体透镜调焦相机内参表达式各项系数。标定采用单元长度为3、6、30 mm的棋盘格靶标,角点位置精度为10 μm,标定过程中保持相机位姿固定并调节液体透镜输入电流,在五个不同工作状态下变换靶标位置姿态并拍摄得到五组标定图像,对各组图像通过张正友方法求解相机内参值,并利用最小二乘拟合求取内参表达式各项系数。表1为相机内参fx、fy、v0、k1、k2、p1、p2表达式系数的拟合结果,其中在对畸变参数k1、k2、p1、p2拟合时,使用经过归一化处理后的焦距均值fmean(norm)参与拟合运算,可改善拟合结果的稳定性。
表 1 系统内参表达式与系数拟合结果
Table 1. Expression of intrinsic parameters and fitted coefficients
Expression of fitting intrinsic parameters Fitted coefficients P1 P2 P3 $ {f_x} = \dfrac{1}{{{P_1} \cdot {I^{(0)}} + {P_2}}} $ −4.366×10−8 1.100×10−4 - $ {f_y} = \dfrac{1}{{{P_1} \cdot {I^{(0)}} + {P_2}}} $ −4.006×10−8 1.097×10−4 - $ {v_0} = {P_1} \cdot \Delta {y_{img}} + {P_2} $ 68.126 659.556 - ${k_1} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ −1.772×10−2 6.134×10−2 1.367×10−2 ${k_2} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ 1.198 −2.701 −18.785 ${p_1} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ 8.530×10−4 −3.357×10−3 1.002×10−2 ${p_2} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ −1.060×10−3 8.194×10−4 4.432×10−4 由于机器视觉测量系统内参真实数值难以直接获取,所以文中基于内参标定结果测量尺寸已知的目标,通过目标尺寸测量结果精度间接验证系统内参标定结果的准确程度。
精度验证采用单元边长30 mm的棋盘格靶标,测量图像组共包含20幅由液体透镜调焦相机拍摄得到的靶标图像,每幅图像包含35个角点,图9(a)为全部角点的定位误差统计情况。根据统计结果,基于文中方法所得相机内参,图像角点空间映射结果位置偏差均值为0.10 mm,偏差量95%置信区间上限为0.268 mm,最大偏差值为0.368 mm;利用映射所得角点坐标求取棋盘格靶标边长,最大相对误差为0.68%。
图 9 基于不同方法所得内参的角点定位误差实验结果统计
Figure 9. Statistical result of positional error using intrinsic parameters acquired by different methods
作为对照,采用插值法求取相机内参,基于相同的图像组重复上述精度验证步骤,角点定位误差统计情况如图9(b)所示,其中图像角点映射结果位置偏差均值为0.353 mm,偏差量95%置信区间上限为0.775 mm,最大偏差值为0.910 mm,利用坐标映射结果求取棋盘格边长的最大相对误差为1.25%。
以上实验结果表明,文中提出的液体透镜调焦系统标定方法性能优于插值法,在单目视觉空间坐标定位与几何尺寸测量任务中应用文中方法进行内参标定,能够达到更高的精度。
Calibration method of liquid lens focusing system for machine vision measurement
-
摘要: 高性能光学成像器件是机器视觉测量的重要基础,液体透镜作为一种结构紧凑的快速电控调焦器件,在机器视觉测量领域中具有明确的应用前景。针对液体透镜调焦器件在视觉测量中性能易受环境干扰、系统内参难以准确标定的问题开展研究。首先,构建了基于Optotune液体透镜器件的机器视觉测量系统,分析了液体透镜器件电控调焦工作机理,提出了调焦系统的电流-焦距数学模型,研究了影响液体透镜调焦系统参数的温度、重力因素作用机理,分别提出了温度-焦距、重力-主点位置影响量传递与补偿数学模型;然后,将上述各系统模型与针孔相机成像模型相结合,提出了液体透镜调焦系统的函数化内参表达式,设计了求取表达式全部系数的标定装置与标定流程,并进行了系统内参标定实验,验证了文中内参标定方法的可行性;最后,利用标定所得的内参对边长30 mm的棋盘格靶标进行了测量实验,通过尺寸测量精度反映内参标定精度。实验结果表明,文中方法能够得到比现有插值法更准确的内参标定结果,其中图像角点空间映射位置误差均值为0.10 mm,棋盘格边长测量结果最大相对误差为0.68%,两项误差比插值法所得内参的测量结果分别减小了27.2%和54.4%。Abstract: High performance optical imaging device is an important basis for machine vision measurement, as a compact and fast electronic controlled focusing device, liquid lens has a promising application in the field of machine vision measurement. In practical, the performance of liquid lens focusing device is easily interfered by the environment, and the intrinsic parameters are difficult to be calibrated accurately, which limits their application in machine vision measurement. The problems described above were researched, a machine vision measurement system was built based on Optotune's liquid lens. By analyzing the electronically controlled focusing mechanism of liquid lens, the model between current and focal length was proposed. Then the interaction mechanism between system parameters and temperature factor and gravity factors was studied, followed by the proposition of temperature-focal length model and gravity-main point vertical position model. By combining the system models with pin-hole imaging model, a functional expression of system intrinsic parameters was proposed, and the corresponding calibration device and calibration process to acquire all the coefficients of the expression were designed and verified through experiment. Finally, to evaluate parameter calibration accuracy, measurement test was performed using a checkerboard with sides of 30 mm. Test results show that the proposed calibration method can get more accurate intrinsic parameters, the average positional error of image corner points' world coordinate mapping result is 0.10 mm, meanwhile the maximum relative error of the length of the side of checkerboard is 0.68%, the errors are reduced by 27.2% and 54.4% respectively compared with test results using intrinsic parameters calibrated by mostly used interpolation method.
-
表 1 系统内参表达式与系数拟合结果
Table 1. Expression of intrinsic parameters and fitted coefficients
Expression of fitting intrinsic parameters Fitted coefficients P1 P2 P3 $ {f_x} = \dfrac{1}{{{P_1} \cdot {I^{(0)}} + {P_2}}} $ −4.366×10−8 1.100×10−4 - $ {f_y} = \dfrac{1}{{{P_1} \cdot {I^{(0)}} + {P_2}}} $ −4.006×10−8 1.097×10−4 - $ {v_0} = {P_1} \cdot \Delta {y_{img}} + {P_2} $ 68.126 659.556 - ${k_1} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ −1.772×10−2 6.134×10−2 1.367×10−2 ${k_2} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ 1.198 −2.701 −18.785 ${p_1} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ 8.530×10−4 −3.357×10−3 1.002×10−2 ${p_2} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ −1.060×10−3 8.194×10−4 4.432×10−4 -
[1] Li Jing, Che Ying, Song Nuan, et al. Design of common path zoom optical system with liquid lens for 3D laser radar [J]. Infrared and Laser Engineering, 2019, 48(4): 0418002. (in Chinese) doi: 10.3788/IRLA201948.0418002 [2] Zhang Ying, Zhang Xin, Shi Guangwei, et al. Applications of liquid lenses in zoom systems [J]. Chinese Optics, 2013, 6(1): 46-56. (in Chinese) [3] Hu X, Zhang S, Zhang Y, et al. Large depth-of-field three-dimensional shape measurement with the focal sweep technique [J]. Optics Express, 2020, 28(21): 31197-31208. doi: 10.1364/OE.404260 [4] Li Y, Zhan T, Wu S T. Flat cholesteric liquid crystal polymeric lens with low f-number [J]. Optics Express, 2020, 28(4): 5875-5882. doi: 10.1364/OE.387942 [5] Kim C, Shin D, Koo G, et al. Fabrication of an electrowetting liquid microlens array for a focus tunable integral imaging system [J]. Optics Letters, 2020, 45(2): 511-514. doi: 10.1364/OL.377865 [6] Cheng X, Yu M, Ma J, et al. An entirely soft varifocal lens based on an electro-hydraulic actuator [J]. Smart Materials and Structures, 2020, 29(4): 045017. doi: 10.1088/1361-665X/ab72e8 [7] Wang L, Duan J, Zhang B, et al. Variable-focus liquid lens integrated with a planar electromagnetic actuator [J]. Micromachines, 2016, 7(10): 190. doi: 10.3390/mi7100190 [8] Sugiura N, Morita S. Variable-focus liquid-filled optical lens [J]. Applied Optics, 1993, 32(22): 4181-4186. doi: 10.1364/AO.32.004181 [9] Wu B, Hu H, Zhu Q, et al. A flexible method for zoom lens calibration and modeling using a planar checkerboard [J]. Photogrammetric Engineering & Remote Sensing, 2013, 79(6): 555-571. [10] Hu X, Wang G, Zhang Y, et al. Large depth-of-field 3D shape measurement using an electrically tunable lens [J]. Optics Express, 2019, 27(21): 29697-29709. doi: 10.1364/OE.27.029697 [11] Lu Z, Cai L. Calibration method for the electrically tunable lens based on shape-changing polymer [J]. Optics Express, 2020, 28(21): 31140-31162. doi: 10.1364/OE.403249 [12] Khodier S A. Refractive index of standard oils as a function of wavelength and temperature [J]. Optics & Laser Technology, 2002, 34(2): 125-128. [13] Ortega J. Densities and refractive indices of pure alcohols as a function of temperature [J]. Journal of Chemical & Engineering Data, 1982, 27(3): 312-317. [14] Wang Tan, Wang Leilei, Zhang Weiguo, et al. Design of infrared target system with Zhang Zhengyou calibration method [J]. Optics and Precision Engineering, 2019, 27(8): 1828-1835. doi: 10.3788/OPE.20192708.1828 [15] Lu Z, Cai L. Camera calibration method with focus-related intrinsic parameters based on the thin-lens model [J]. Optics Express, 2020, 28(14): 20858-20878. doi: 10.1364/OE.392731 [16] Yang Jianbai, Zhao Jian, Sun Qiang. Projector calibration based on cross ratio invariance [J]. Chinese Optics, 2021, 14(2): 320-328. (in Chinese) doi: 10.37188/CO.2020-0111 [17] Cai Ping, Li Xiaoyan, Tang Yujun, et al. Improved distortion correction method for special large aperture tracking cameras [J]. Optics and Precision Engineering, 2019, 27(10): 2272-2279. (in Chinese) doi: 10.3788/OPE.20192710.2272