Non-symmetrical five-sided mirrors based single viewpoint catadioptric infrared omnidirectional imaging system

红外成像不受环境光照变化、炫光、逆光、烟尘等影响，具备一定抗小雨雪、薄雾、雾霾的能力，是夜间、低能见度条件下全天时感知场景的主要技术手段，可显著增强车辆安全驾驶能力。近年来，我国红外焦平面探测器得到长足发展，像元规模、尺寸、热灵敏度等性能已跻身国际先进水平，已在国际市场份额中占有重要地位，低成本红外焦平面探测器在车辆驾驶中的规模应用也指日可待。红外周视系统能够提供周围360°场景红外图像，消除车辆驾驶视觉盲区，能借助算法实现定位、建图、避障、路径规划、导航等功能^[1-3]，满足智能驾驶和自主驾驶的迫切需求。

按照技术路线，可将红外周视系统分为三类：1）分时多视点红外周视系统^[4]。红外光学系统和红外焦平面探测器(文中将二者称为红外成像组件)绕与光轴垂直的固定轴360°旋转，或光学扫描器360°旋转，将入射辐射反射至红外成像组件，再将具有部分重叠内容的视频序列进行拼接得到周视图像，其特点是成本低、成像质量好，但时间分辨力低。典型范例为红外搜索跟踪系统(InfraRed Search and Track system, IRST)，如法国的VAMPIR系统、以色列的SPIR-TAS系统、荷兰的SIRIUS系统等^[5]；2）分孔径多视点红外周视系统。集成或分布式布置多个红外成像组件覆盖360°方位视场，将这些成像组件输出的视频图像进行拼接，其特点是空间分辨力高，但近距离目标存在视差，拼接时有重影。典型范例为车载全景态势感知系统，如美国Leonardo DRS公司的DVE WIDE将三个红外成像组件紧凑集成在一起，获得$321^\circ (107^\circ \times 3) \times 30^\circ $的大视场^[6]；3）单视点折反射红外周视系统^[7]。将二次曲面反射镜与常规折射红外光学系统以及红外焦平面探测器结合起来，不需要运动扫描机构，仅使用单个面阵探测器即可实现360°方位视场的凝视成像，特点是单视点结构约束，周视视场内的物-像映射关系简单，能对目标进行精确测向。典型范例为红外周视潜望镜，如美国海军实验室使用单个$2\;048 \times 2\;048$中波红外焦平面探测器，研制出能提供360°水平视场、−10°~+30°俯仰视场的红外折反射周视潜望镜^[8]。然而，由于二次曲面镜的非线性，该类系统的探测距离会随着俯仰角的不同而改变，且探测距离与单个焦平面探测器的规模密切相关。

文中面向车载周视红外成像应用，综合分孔径多视点周视和单视点折反射周视的优势，根据车载应用中对前方探测距离要求高、对后方探测距离要求较低的实际情况，提出一种分孔径、单视点非全对称五面镜折反射红外周视系统设计方案，前方、左右侧视场均为64°，后方则是两个84°视场，共同组成水平360°、俯仰±29°的周视视场。针对不同焦距的非制冷红外成像组件，完成非全对称五面镜的结构设计，建立了满足单视点约束的非全对称折反射周视结构理论模型；设计出可调整、对准视点的系统机械结构，分析了系统投影转换、图像处理要素，提高其全面性、真实性和可信度。

目前国外研究者已开发出工作在可见光波段的四面镜、五面镜、十面镜单视点约束折反射周视系统^[9]，如图1所示，其共同特点为：多面镜构成对称结构的、底角(α)为45°的正多面体；每个镜面对应的摄像机镜头焦距(f)相同(即视场角ω相等)；每个摄像机视点与底面之间的垂直距离(h)、到中心轴线的水平距离(l)相同，摄像机视点是透镜中心(镜头为薄透镜时)或透镜物方主点(镜头为透镜组时)。对称多面镜单视点约束折反射结构的本质是利用正多面体反射镜将多个焦距相同摄像机视点所成的虚像重合于同一点。

Figure 1.  Prototypes and structural diagrams of single-viewpoint constraint catadioptric omnidirectional imaging systems based on symmetrical multi-sided mirrors^[9]

以全对称五面镜为例，如图2(a)所示，${P_1}$、${P_2}$、${P_3}$、${P_4}$、${P_5}$是采用针孔成像模型简化后的摄像机视点，视点方向垂直向下。视点所对应的每一个棱面都是一块镜面朝外的平面反射镜，与水平面成45°夹角。所有视点位于棱锥顶点所在的水平面与相应棱面角平分线所在垂直平面的交线上，不同方向上的视点经平面反射镜成像后得到的虚视点重合为同一点，$P'$点成为系统的唯一视点。假设观察者位于$P'$点，就能从该点通过不同成像方向的多个摄像机观察到周围无缝的周视图像。图2(b)是图2(a)中相邻两块平面镜的正面投影图，${P_1}$和${P_2}$两个视点关于镜面轴对称的虚像点位于顶点$O'$与底面的垂直线$OO'$上，并在点$P'$重合，通过构建平面镜与摄像机之间的约束关系即可实现单视点约束。

Figure 2.  Single-viewpoint constraint with symmetrical five-sided mirrors. (a) Symmetrical five-sided mirrors; (b) Orthograph of adjacent mirrors

图3是美国Tonbo Imaging公司分别使用九套低照度CMOS组件和非制冷红外成像组件研制的双波段分孔径多视点周视系统WolfPack^[10]。与图3中的分孔径、多视点周视系统相比，引入反射面构建的分孔径、单视点周视系统具有的优势有：

Figure 3.  Aperture-divided and multi-viewpoint omnidirectional imaging system^[10]

1) 能有效消除不同摄像机之间的视差；

2) 能不经过图像拼接，直接获得水平360°视场的周视图像；

3) 能保证水平360°视场内的物像一一对应，同一物体成像唯一，不存在“跨镜追踪”问题，提高周视图像中目标的可信度，既有利于对感兴趣目标进行识别和追踪，又有利于定量测量目标的方向和运动状态。

驾驶员多数时候通过观察道路前方和左、右侧来保证安全驾驶，故要求周视系统中的前视和左、右侧摄像机具有较远的作用距离，以便能尽早感知路面信息，从而快速进行避障操作，对后视摄像机的作用距离要求相对较低。因此，文中提出一种非全对称五面镜单视点折反射红外周视系统方案。首先，根据车辆驾驶时对行人探测距离选择合适的红外镜头。假设行人尺寸$0.5 \times 1.7\;{{\rm{m}}^2}$、温度309 K，背景温度298 K，红外探测器像元规模$640 \times 512$、像元尺寸12 μm、噪声等效温差(NETD) 40 mK，使用最小可分辨温差(MRTD)公式计算，得到探测概率50%时，行人和背景的等效黑体温差$\Delta {T'}$与距离R的曲线$\Delta {T'}(R)$与MRTD(R)如图4(a)所示，此时4.1、5.8、9.1 mm焦距红外镜头的探测距离分别为145、200、320 m，相应的水平视场角分别为86°、67°、46°，如图4(b)所示。

Figure 4.  Calculation results. (a) Detection distance of infrared lenses with focal lengths of 4.1 mm, 5.8 mm and 9.1 mm at 50% detection probability; (b) Horizontal FOV of infrared lenses with focal lengths of 4.1 mm, 5.8 mm and 9.1 mm

根据计算结果(图4)，为使用五块非全对称的反射镜获得360°周视视场，前视、左右侧均为64°视场(焦距5.8 mm)，后视为两个84°视场(焦距4.1 mm)，视场构成如图5所示。传统车载视觉存在盲区检测区域，主要为挡风玻璃两侧倾斜A柱遮挡造成的A柱盲区(见图5中Blind Spot Ⅰ)以及后视镜盲区(见图5中Blind spot II)，所设计的系统能够有效消除这些盲区。系统选用的红外探测器组件参数见表1。

Figure 5.  FOV composition of the designed system

基于2.1节选用的红外成像组件，根据单视点约束要求进行非全对称五面镜结构设计。三套焦距${f_1} = 5.8 \;{\rm{mm}}$的等效视点为${P_1}$、${P_2}$、${P_3}$，对应棱面均与水平面成α的夹角−镜面倾角；两套焦距$ {f_2} = 4.1 \;{\rm{mm}} $的等效视点为${P_4}$和${P_5}$，对应棱面与水平面成β的镜面倾角。不同焦距镜头组合使得五面镜结构底部表现为顶点到中心距离相等、边长与内角不完全相等的非全对称五边形，且红外成像组件在垂直方向上处于不同高度，如图6所示。单视点约束非全对称五面镜结构设计要点是调整不同镜面倾角组合(α、β)与红外成像组件的空间位置，使得视点${P_1}$、${P_2}$、${P_3}$、${P_4}$、${P_5}$所成的虚像重合于$P'$点。

Figure 6.  Geometric structure diagram of non-symmetrical five-sided mirrors

为方便计算单视点约束下非全对称五面镜结构参数，选取图6中一个方向的红外成像组件进行分析。为不失一般性，令该成像组件的等效视点为P，对应的镜面倾角为θ，其他结构参数定义如图7所示，并在表2中列出，包括：虚视点$P'$高度m、底面中心点到边长距离d、可裁剪镜面高度s(图7(b)中红色虚线上方高度)、成像组件等效视点P的高度h以及与结构顶点$O'$的水平距离l、成像组件的垂直视场角$2\varepsilon $、镜头直径k。

Figure 7.  Definition of structural parameters for non-symmetrical five-sided mirrors structure. (a) 3D diagram; (b) 2D diagram of side projection

五面镜结构的整体尺寸由镜面倾角θ、底部中心点到边长的距离d、虚视点高度m决定。假设垂直视场角$2\varepsilon $左侧边界光线刚好位于结构底部C处，视点P对应的反射镜棱面为图7(a)中的平面$ABO'$，该反射面侧面投影为图7(b)中的$CO'$。根据不同镜面倾角θ和虚视点高度m组合，可确定红外成像组件距离中心轴线的水平距离(近似等于等效视点P与结构顶点$O'$的水平距离l)和距离底面的垂直高度(近似等于等效视点P的高度h)，表达式为：

假设满足公式(1)和公式(2)时垂直视场角右侧边界光线与反射面相交于Q点，Q点所在水平面以上的镜面区域，即图7(b)中红色虚线上方的区域不参与成像，实际使用时可裁剪，因此实际可用结构表现为非全对称五棱台，而平面反射镜表现为等腰梯形，可裁剪镜面高度s的表达式为：

镜面倾角θ太小或虚视点高度m太高，都会导致反射棱面反射成像组件自身图像遮挡对周围场景的成像；镜面倾角θ太大或虚视点高度m太低时，则需加大棱台尺寸以保证成像的完整性，因此需要进行镜头不遮挡成像分析以折中调整θ和m的取值。根据几何光学中光线的反射分析红外成像组件刚好不对自身成像时的视场临界角，如图8所示，将等效视点P对应的红外成像组件镜头直径k令为线段MN，临界入射光线Ⅰ(图8中Ray Ⅰ)刚好经过镜头边界点M，在Q点以入射角${\phi _1}$发生反射，反射光线经过镜头边界点N后进入红外成像组件；临界入射光线Ⅱ(图8中Ray Ⅱ)在C点以入射角${\phi _2}$发生反射，反射光线经过镜头边界点M后进入红外成像组件。在此条件下，令角度$\angle MPN = 2\varepsilon '$。

Figure 8.  Unoccluded imaging analysis

根据几何关系可得${\phi _1} = \theta - \varepsilon '$、${\phi _2} = \theta + \varepsilon '$，此时还满足以下几何关系：

根据公式(4)可求解$\varepsilon '$的两个值，分别令为$ {\varepsilon _1}' $和$ {\varepsilon _2}' $，得：

其中

根据公式(5)和公式(6)计算当前参数时，红外成像组件刚好不对自身成像时的垂直视场角$ {\varepsilon _1}' $、$ {\varepsilon _2}' $，与实际的垂直视场角$\varepsilon $(数值见表1)做比较，若${\varepsilon _1}' < \varepsilon < {\varepsilon _2}'$，则该结构下的系统能够实现无遮挡成像。

综上所述，根据单视点约束设计非全对称五面镜结构的主要步骤如图9所示，包括：

1) 针对特定任务中目标与背景之间的温度差，根据空间分辨力和作用距离要求选取合适的红外成像组件及其镜头参数，如表1所示；

2) 根据垂直视场角$2\varepsilon $、镜头直径k等选取合适的视点高度m与镜面倾角θ的组合，通过求解红外成像组件等效视点P的高度h以及与结构顶点$O'$的水平距离l，确定红外成像组件的精确位置，再根据反射视场确定结构底部中心点到边长的距离d、可裁剪镜面高度s，从而确定非全对称五棱台反射镜的具体尺寸；

3) 根据上一步获得的系统结构参数进行视场有无遮挡的分析；

4) 根据视场无遮挡分析结果优化系统结构，直至获得无遮挡、结构尺寸小、易加工的非对称五棱台反射镜。

Figure 9.  Flowchart of designing non-symmetrical five-sided mirrors structure

满足单视点约束的非全对称五面镜和不同焦距红外镜头将五个方向的场景辐射反射并汇聚到五套垂直放置的红外焦平面探测器，如图10所示，由于虚视点$P'$所在轴线可当作旋转轴，采用柱面投影将图10(a)五个方向上的平面图像转换为无缝周视图像，如图10(b)所示。图10中红色线、蓝色线分别代表焦距${f_1} = 5.8 \;{\rm{mm}}$、${f_2} = 4.1 \;{\rm{mm}}$的红外成像组件。另外，为尽可能保留前方和左、右侧视场信息，将焦距${f_1} = 5.8 \;{\rm{mm}}$作为柱面投影半径进行周视图像投影。同时，三幅焦距${f_1} = 5.8 \;{\rm{mm}}$和两幅${f_2} = 4.1 \;{\rm{mm}}$的图像也可以作为大视场图像进行保存和供使用者调用。

Figure 10.  Conversion from planar projection to omnidirectional image. (a) Planar images in five directions; (b) Omnidirectional image after cylindrical projection

为简化描述，令图10(a)中的一幅图像宽为W，高为H，并令红外镜头光心与红外焦平面探测器中心重合，则图像中心点$({C_x},{C_y})$满足：

图像坐标$(x,y)$投影为图10(b)中的柱面时坐标令为$(x',y')$，那么，坐标$(x,y)$至坐标$(x',y')$的转换公式需要分两种情况讨论：

1) 前方和左、右侧视场焦距${f_1} = 5.8 \;{\rm{mm}}$ 时的转换公式：

2) 左后方、右后方视场焦距${f_2} = 4.1 \;{\rm{mm}}$ 时的转换公式：

利用ProE软件对该系统进行仿真设计，提出可调整、对准视点的机械结构方案，保证不同焦距红外成像组件视点能精确重合为同一点，如图11所示。该周视系统主要可分为镜面反射区域、红外成像组件、中心柱轴以及相关支架。红外成像组件通过固定在圆盘平台上与中心柱轴保持一定的水平和垂直距离，镜面反射区域主要由反射镜支架与反射镜面组成，水平与垂直方向上增加平面支架保证倾角的稳定性和准确性，支架表面刻制凹槽保证两者的贴合。反射镜面由具有一定厚度、内部均匀、拥有光滑平整前表面的浮法玻璃组成，有利于红外辐射的镜面反射。每个红外成像组件采集对应反射镜面反射的红外辐射，共同构成360°红外周视图像。

Figure 11.  Mechanical structure of the designed system

为使多个视点对准于单个虚视点以保证单视点约束，设计了红外成像组件空间位置可调整的机械结构。一方面，在中心柱轴上放置不同数量的调节圈调整高度，并通过锁紧圈固定；另一方面，红外成像组件采用固定座组件确定在圆盘上的位置，该组件可在一定范围内移动，用于调节红外成像组件的水平距离，下方放置不同数量的调节圈调整垂直高度。中心柱轴调整机制和固定座调整机制确保可手动调节红外成像组件的空间位置，避免结构加工、人工装调误差造成的视点位置偏移。该系统经过机械设计后的最终结构参数如表3所示。

加工、组装和调试后的原型系统实物照片如图12所示。当系统工作时，五个红外成像组件根据外同步信号同时采集视频图像，一帧图像的大小为640 pixel×480 pixel。

Figure 12.  Picture of the designed system

由于使用两种焦距的红外镜头(${f_1} = 5.8 \;{\rm{mm}}$和${f_2} = 4.1 \;{\rm{mm}}$)，首先需要对其中一种焦距的图像进行缩放。为尽可能保留前方和左、右侧视场信息，经过柱面投影后，对${f_2} = 4.1 \;{\rm{mm}}$的图像进行放大和上采样处理，放大因子γ由焦距${f_1} = 5.8 \;{\rm{mm}}$和${f_2} = 4.1 \;{\rm{mm}}$对应的红外成像组件垂直视场角${\varepsilon _1}$、${\varepsilon _2}$决定，公式为：

由公式(10)可得，放大因子$\gamma = 1.41$。

为获得无缝的红外周视图像，焦距${f_1} = 5.8\;{\rm{mm}}$、${f_2} = 4.1 \;{\rm{mm}}$ 的视频图像在水平方向上的冗余视场分别为6.5% ($640 \times 6.5 {\text{%}} \approx 42$ pixel)和8.6% ($640 \times 8.6 {\text{%}} \approx 55$ pixel)，因此，${f_2} = 4.1 \;{\rm{mm}}$的图像放大后与${f_1} = 5.8\;{\rm{mm}}$的图像进行中心对齐，再匹配和切割冗余视场，即可获得无缝周视红外图像。目前，一幅完整的周视图像的大小为3 440 pixel×480 pixel。

因曝光情况与自动增益的不同，需对周视红外图像进行统一的灰度平衡。取五个方向上同时采集的红外图像，分别计算其均值$\;{\mu _i}(i = 1,2,3,4,5)$与方差${\sigma _i}(i = 1,2,3,4,5)$，得到这五帧红外图像的平均均值${\mu _{{\text{average}}}}$、平均方差${\sigma _{{\text{average}}}}$，表达式如下：

以此为参考分别对五帧图像${I_i}(i = 1,2,3,4,5)$进行灰度平衡，输出结果为${O_{{i}}}{\text{(}}i{\text{ = 1,2,3,4,5)}}$，表达式为：

综上所述，该系统红外周视图像的获取需要进行的图像处理步骤主要包括：柱面投影、缩放、中心对齐、冗余部分切割、灰度平衡，最终获得完整且无缝的红外周视图像，如图13所示，前方和左、右侧红外成像组件作用距离较远，扩大驾驶员视野，满足全天时、无盲区的观察需要。

Figure 13.  Imaging result of the designed system

文中针对车辆驾驶应用中前方和左、右侧、后方对行人探测距离要求的不同(分别为200 m和145 m)，提出并实现了前方和左、右侧均为64°视场、后视为两个84°视场的非全对称五面镜单视点折反射红外周视系统，利用非全对称五面镜将三套焦距$ {f}_{1}=5.8 \;{\rm{mm}} $和两$ \mathrm{套}{f}_{2}=4.1 \;{\rm{mm}} $的红外成像组件的虚视点重合为同一点，建立了单视点约束非全对称五面镜结构的设计流程，即根据空间分辨力和作用距离要求选取合适的红外成像组件及其镜头参数后，再根据单视点结构约束条件确定非全对称五棱台反射镜的具体尺寸，并根据系统结构参数进行视场遮挡分析后进一步优化系统结构，直至获得无遮挡、结构尺寸小、易加工的非对称五棱台反射镜。完成加工、装调非全对称五面镜折反射红外周视原型系统后，提出了包含柱面投影、缩放、中心对齐、冗余部分切割、灰度平衡等步骤的周视红外图像处理流程，最终实现对水平360°、俯仰±29°视场的无遮挡、无缝、无盲区红外成像。该系统获取场景的红外图像全面、真实和可信，有助于消除车辆驾驶观察盲区，提升智能驾驶能力，在民用和军用领域都有广阔的应用前景。未来将开展系统小型化方面的工作。