-
在仿真实验中,所需仿真数据为仿真点云数据和仿真图像数据。实物模型如图10(a)所示,尺寸约为500 mm×170 mm×170 mm。根据目标真实尺寸采用相关软件进行三维点云模型创建,并通过在点云模型中增加轴线特征点用于后续运算。点云实物模型和点云模型如图10(b)所示,其中蓝色点为点云模型,红色点为轴线特征点。
仿真点云数据通过本实验室提出的三维点云模拟系统,模拟面阵雷达扫描模式采用双切片法[18]提取。假设模型初始位姿如图11所示,所采用的面阵激光雷达和彩色相机为实验室已有设备,参数信息如表1所示。利用1.1节中所提算法对雷达外参信息和彩色相机内参信息进行标定,仿真图像数据通过公式(4)将点云数据转换到图像像素坐标得到。
Name Value Model RS-LD1605 M Horizontal field of view/(°) 56 Vertical field of view/(°) 31 Color image resolution 2448×1378 Depth image resolution 640×360 Horizontal angle resolution/(°) 0.088 Vertical angle resolution/(°) 0.088 Detection distance/m 50 Detection accuracy/cm 5 Frame rate/Hz 12 Table 1. Parameter range of RS-LD1605 M radar
目标运动模型:飞行轨迹满足参考文献[19]。以目标几何中心建立物体坐标系,绕Y轴旋转角度β为0.64(°)/帧,绕Z轴旋转角度γ为0.51(°)/帧,飞行目标做X轴初速度为20 m/s,Y轴方向自由落体的平抛运动。
位姿估计指标要求:位置误差≤ 0.01 m;旋转角度误差≤ 5°;解算时间≤ 2 s/幅。
-
采用实验室自研软件建立仿真环境,按照雷达成像机理模拟激光雷达扫描成像,目标与激光雷达初始物距为30 m。根据可见点判别方法完成对飞行目标进行多视角可测部位点云数据获取。其中部分仿真结果(第20帧、第30帧)如图11所示。由面阵激光雷达成像原理[20]可知,在仿真实验的运动模型下飞行目标在运动过程中可看作静止状态。实验结果表示扫描成像数据输出率可达1 s/帧。(文中算法结果CPU AMD Ryzen 5,在内存为16 GB的PC机上运行所得,操作系统为 Windows 10)。
-
为检测算法的稳定性,进行50次独立测试对位姿估计结果进行评估。其中部分结果(第20帧、第30帧)如图12和图13所示。
解算得到的目标点云数据的轴线位置由轴线特征点可知,目标点云数据由3.1节中所提目标运动模型计算可得,然后再由轴线特征点可知目标的轴线位置。通过观察仿真目标点云数据与解算得到的目标点云数据的轴线与Y、Z轴的夹角来判断旋转角度误差。
目标位姿数据包括位置参数(Px,Py,Pz)和姿态参数(α,β,γ),其中Px、Py、Pz为X、Y、Z轴的位置参数,α为绕X轴旋转角度,β为绕Y轴旋转角度,γ为绕Z轴旋转角度。由于目标为类圆柱形,因此α不作为此次实验结果的参考值。定义估计误差为(ΔPx, ΔPy, ΔPz, Δβ, Δγ)。对三轴平移距离误差及旋转角度误差、算法过程耗时进行了统计分析,平均误差如图14所示。为证明文中算法的高精度性,采用ICP算法对仿真数据进行直接配准,误差结果如图15所示。与参考文献[9-10]所提算法进行对比,比较效果见表2。
Group ΔPx/mm ΔPy/mm ΔPz/mm Δβ/(°) Δγ/(°) Time/ms Proposed algorithm 1.06 4.59 2.07 0.63 1.01 132 ICP algorithm 2.93 8.37 4.21 0.94 1.62 261 PnP algorithm 1.65 5.45 4.11 0.76 1.33 37 Algorithm in Ref.[10] 2.51 6.02 3.88 0.82 1.41 327 Table 2. Comparison of algorithm accuracy
由表2可知,三轴平移误差低于ICP算法和其他算法;文中算法采用PnP算法完成点云粗配准,获取点云间初始旋转平移矩阵;利用IK-D Tree加速临近点搜索,采用ICP算法完成点云精配准。因此运算速度优于ICP算法劣于PnP算法。
实验结果表明,在不同运动姿态下文中算法均可完成目标位姿估计。所提方法具有较高的估计精度,同时也证明了所提方法的有效性和准确性。
-
建立半实物仿真试验环境对算法有效性进行验证。由于实验室不具备对炮弹实物进行抛洒的场地条件和抛洒装置条件。遂采用约为3∶1缩放模型的铁质圆柱筒完成半物理实验。目标模型长宽高为160 mm×50 mm×50 mm,激光雷达和彩色相机参数信息与数字仿真试验一致。采用人工抛洒目标的方法模拟目标飞行过程进行了两组试验,目标距离雷达相对距离为[10 m, 11 m]范围内变化,测试不同环境(A组背景为静态建筑物和树木;B组背景为花坛、草地和静态建筑物)、不同光照条件(A组拍摄时间为上午10点,天气状况:晴;B组拍摄时间为下午4点,天气状况:多云)下的文中算法的估计效果。每组试验条件下拍摄图像数量在20张以上,部分拍摄图像如图16所示。
-
为检测图像目标检测算法的稳定性与有效性,对两组图片进行目标提取测试,并与背景差分法、传统ViBe算法以及参考文献[5]所提算法进行比对,对结果进行统计与分析。目标提取结果如图17所示,为定量比较改进算法与原算法的性能,采用了正确率(Precision, P)、召回率(Recall, R)、错误分类比(Percentage of Wrong Classifications, PWC)作为评价指标,定义如下:
式中:TP为正确检测为前景像素的个数;FP为错误检测为前景像素的个数;TN为正确检测为背景像素的个数;FN 为错误检测为背景像素的个数;P为正确判定为前景像素的个数占判定为前景像素总数的百分比;R为正确判定为前景像素的个数占真正前景像素总数的百分比。提取点数以及性能评估见表3~5。
由表3~4可见背景差分法在场景存在动态干扰物时提取效果不佳;在背景为静态建筑物居多时,参考文献[5]均有较好的前景目标提取效果,但当背景为动态植物时,背景差分法和参考文献[5]提取效果不佳。ViBe算法在静态背景和动态背景下均有较好的提取效果。但当光线不足且有变化时会产生部分噪点,文中算法召回率相比其他算法略有降低,但在正确率以及错误分类比上都有较好的提升,与传统ViBe算法相比正确率提高了27%,错误分类比降低了36%。背景差分法和参考文献[5]算法直接将运动图像和背景相比,运算量低鲁棒性差且两种方法均为手动设置阈值,因此与文中所提算法相比耗时短;文中算法相比与传统ViBe算法相比,将深度信息加入背景模型样本中作为运动目标检测的权值且采用自适应阈值减少了人工干预,因此耗时有所提升。
Scene Group TP FP TN FN P R PWC Scene A Our method 1 520 40 336 968 4 280 0.962 0.844 0.009 4% Background subtraction 1 627 6 015 336 372 9 173 0.213 0.904 0.183% Vibe algorithm 1 642 178 336 956 6 158 0.902 0.912 0.009 9% Algorithm in Ref. [5] 1 732 117 336 962 7 68 0.936 0.962 0.005 5% Scene B Our method 1 607 31 336 931 3 393 0.978 0.803 0.013% Background subtraction 1 627 7 302 336 204 2 373 0.182 0.813 0.228% Vibe algorithm 1 766 725 336 861 9 234 0.709 0.883 0.028% Algorithm in Ref. [5] 1 939 1 007 336 833 7 61 0.658 0.969 0.032% Table 3. Comparison of target extraction accuracy of image
Group A/ms B/ms Proposed algorithm 301 289 Background subtraction 153 147 Vibe algorithm 271 253 Algorithm in Ref.[5] 206 198 Table 4. Time consuming for image target extraction
Scene number ΔPx/mm ΔPy/mm ΔPz/mm Δβ/(°) Δγ/(°) Scene A 2.7015 −0.4149 10.2778 43.6813 66.7326 Scene B 1.3368 0.1723 10.5036 82.8329 4.6933 Table 5. Calculation results of target pose
-
采用第2章中所提算法对目标点云进行提取和位姿估计,结果如图18和表6所示。
单次激光雷达扫描无法直接提取飞行目标的完整轮廓,从而无法掌握目标准确的位姿信息。因此通过彩色图像分别取目标的4个角点和目标每条边的中点作为特征点。利用PnP算法对飞行目标位姿进行两次估计,然后取两次估计结果的平均值与文中位姿求取结果进行对比,来分析实验的有效性。两次PnP算法的位姿求取结果如表7和表8所示。求取平均值后与表6所求数据进行对比,误差结果如表9所示。
Scene number ΔPx/mm ΔPy/mm ΔPz/mm Δβ/(°) Δγ/(°) Scene A 2.7073 −0.4213 10.2818 44.3518 65.3863 Scene B 1.3328 0.1685 10.5072 81.7567 5.3052 Scene A 2.7062 −0.4137 10.2747 44.2721 65.8147 Scene B 1.3317 0.1705 10.5093 81.2602 5.3872 Table 6. PnP pose calculation
Scene number ΔPx/mm ΔPy/mm ΔPz/mm Δβ/(°) Δγ/(°) Scene A 5.25 2.6 4.5 0.63 −1.13 Scene B −4.55 −2.8 4.65 −1.32 0.65 Table 7. Position and attitude error comparison
Colour White Blue Red Acquisition rate 1 0.97 0.94 Table 8. Point cloud collection rate under different surface colors
Group ΔPx/mm ΔPy/mm ΔPz/mm Δβ/(°) Δγ/(°) Group A 0.97 4.26 1.84 0.58 0.97 Group B 0.061 0.062 0.039 0.014 0.082 Our algorithm 1.06 4.59 2.07 0.63 1.01 Table 9. Number of point clouds at different object distances and surface colors
半实物仿真试验结果显示,位姿误差小于指标要求。文中算法可以正确有效的对于目标点云进行提取和位置求取,并且能够稳定适用于实际环境之中。
-
激光雷达对目标进行扫描时,目标物与激光雷达的距离和采集点云数呈负相关;目标表面颜色对脉冲信号的反射强度影响较大。点云反射强度从高到低依次为白色、绿色、蓝色、红色、黑色[21]。目标的表面粗糙度对点云数量和点云反射强度均无明显影响。采用参考文献[21]中提供的目标颜色对点云影响结果,假设白色时目标物的采集率为1,则不同颜色条件下对采集点云数量的影响如表10所示。在文中预设仿真条件下,分别在30 m、15 m和5 m处完成飞行目标点云采集并根据提取率在目标点云中取随机点的方式实现目标不同颜色下的取点模拟,统计不同颜色下采集点的数量,结果如表11所示。
Group ΔPx/mm ΔPy/mm ΔPz/mm Group A 0.97 4.26 1.84 Group B 0.061 0.062 0.039 Our method 1.06 4.59 2.07 Table 10. Position error
Group Δβ/(°) Δγ/(°) Group A 0.58 0.97 Group B 0.014 0.082 Our method 0.63 1.01 Table 11. Angle error
由表11可知,影响点云采集数量的主要因素为激光雷达距离点云的距离。虽然目标表面颜色也对点云点数有所影响,但由于相差的点云数量过少,在ICP配准时可以忽略不计。
-
在文中设计算法中,采用改良ViBe算法对目标进行提取时会丢失一部分像素点,经图像形态学处理后可得到完整目标,在恢复完整目标时采用膨胀和腐蚀操作,会使得到的目标与真实目标尺寸略有差别;采用LSD直线检测算法和霍夫变换对图像特征点进行提取时会出现提取误差;采用改进的ICP算法对目标点云进行位姿估计,目标点云的数量影响配准的精度。
-
针对以上测量误差原因,采用控制变量法设置对照组与文中试验结果进行对比验证。分别设置两个对照组与表2中文中算法造成误差进行比较。A组实验条件为:物距30 m,手动提取图像特征点;B组实验条件为:物距5 m,手动提取图像特征点;
由文中算法与A组对比可知,采用手动提取图像特征点可以减小误差,但效果不佳;由文中算法与B组对比可知,当激光雷达与目标的距离缩短时,可以有效减少误差。
Pose estimation of flying target based on bi-modal information fusion
doi: 10.3788/IRLA20220618
- Received Date: 2022-08-10
- Rev Recd Date: 2022-09-15
- Publish Date: 2023-03-25
-
Key words:
- bi-modal information fusion /
- pose estimation /
- flying target /
- target extraction
Abstract: