留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

航空面阵图像拼接的累积误差消除方法

岳广 孙文邦 张星铭 李铜哨

岳广, 孙文邦, 张星铭, 李铜哨. 航空面阵图像拼接的累积误差消除方法[J]. 红外与激光工程, 2021, 50(9): 20200529. doi: 10.3788/IRLA20200529
引用本文: 岳广, 孙文邦, 张星铭, 李铜哨. 航空面阵图像拼接的累积误差消除方法[J]. 红外与激光工程, 2021, 50(9): 20200529. doi: 10.3788/IRLA20200529
Yue Guang, Sun Wenbang, Zhang Xingming, Li Tongshao. Accumulated error elimination method of aerial array image stitching[J]. Infrared and Laser Engineering, 2021, 50(9): 20200529. doi: 10.3788/IRLA20200529
Citation: Yue Guang, Sun Wenbang, Zhang Xingming, Li Tongshao. Accumulated error elimination method of aerial array image stitching[J]. Infrared and Laser Engineering, 2021, 50(9): 20200529. doi: 10.3788/IRLA20200529

航空面阵图像拼接的累积误差消除方法

doi: 10.3788/IRLA20200529
基金项目: 全军军事类研究生课题(DSSQ910252018010)
详细信息
    作者简介:

    岳 广,男,硕士生,主要从事数字图像配准、图像拼接方面的研究

    通讯作者: 孙文邦,男,副教授,博士,主要从事数字图像处理、信息保障理论方面的研究。
  • 中图分类号: TP391

Accumulated error elimination method of aerial array image stitching

  • 摘要: 针对航空面阵遥感图像拼接算法一般存在误差累积的问题,提出了航空面阵图像拼接的累积误差消除方法。首先,利用航空遥感平台位置信息与姿态信息完成每幅图像投影变换与粗拼接,确保了每幅投影变换后图像拼接误差的独立性,从而避免了误差累积现象;然后,采用SIFT算法提取粗拼接相邻图像重叠区域的同名像点对,并根据同名像点对的位置差异,按照误差均分的原则,逐张独立地进行坐标微调及坐标精调,直到满足一定精度为止,以提高图像拼接精度,同时避免坐标调整时产生的误差累积。最后,通过主观评价(对比校正后卫星图像和文中拼接效果图像的地理对应关系)和客观评价(SSIM算法)对图像拼接质量进行评价。理论分析与实验结果表明:该方法能有效规避图像拼接中的误差累积问题,相对当前主要拼接方法,能够很好地与地理空间二维坐标保持一致性,且具有很好的实用价值和应用前景。
  • 图  1  误差累积

    Figure  1.  Error accumulation

    图  2  地面投影示意图

    Figure  2.  Schematic diagram of ground projection

    图  3  投影点位置确定

    Figure  3.  Determine the position of the projection point

    图  4  地底点位置确定

    Figure  4.  Determine the position of the ground nadir point

    图  5  传统微调的误差累积

    Figure  5.  Error accumulation of traditional fine-tuning

    图  6  图像坐标调整示意图

    Figure  6.  Image coordinate adjustment diagram

    图  7  特征点错位误差值确定

    Figure  7.  Determine feature point misalignment error value

    图  8  坐标精调流程图

    Figure  8.  Coordinate adjustment flow chart

    图  9  实验图像

    Figure  9.  Experimental images

    图  10  实验结果对比。(a)文中实验结果;(b)参考文献[3]实验结果

    Figure  10.  Comparison of experimental results. (a) Proposed experimental results; (b) Literature [3] experimental results

    图  11  实验细节对比图像。(a)文中实验;(b)参考文献[13]的实验;(c)细节对比

    Figure  11.  Experimental details contrast images. (a) Proposed experimental details; (b) Literature [13] experimental results; (c) Detailed comparison

    图  12  实验细节对比图像。(a)文中实验细节;(b)传统微调实验细节;(c)细节对比

    Figure  12.  Experimental details contrast images. (a) Proposed experimental details; (b) Traditional fine-tuning experiment details; (c) Detailed comparison

    表  1  主观评价标准

    Table  1.   Subjective evaluation criteria

    LevelQuality guidelinesObstruction criterion
    5First-classNo picture quality deterioration
    4WellYou can feel the image quality has deteriorated, but it does not hinder viewing
    3AverageIt is clear that the image quality has deteriorated, which will slightly hinder viewing
    2LowObstruct viewing
    1Very poorVery seriously obstructing viewing
    下载: 导出CSV

    表  2  姿态参数

    Table  2.   Attitude parameters

    Pitch angle/(°)Roll angle/(°)Heading angle/(°)Height/mLongitude/(°)Latitude/(°)
    3.010.11112.6900147587.389742.0944
    2.890.00112.7697147587.395842.0936
    2.900.14112.4597147587.399442.0927
    3.070.22112.5400147587.403042.0919
    3.160.02112.5597147487.406942.0911
    2.870.31112.4800147587.410542.0900
    3.130.39112.4800147487.414142.0891
    3.100.15112.7600147487.417742.0883
    3.210.13112.9400147487.421342.0875
    下载: 导出CSV

    表  3  SSIM评价

    Table  3.   SSIM evaluation

    ImagesSSIM evaluation
    Literature [3]0.8790
    Literature [13]0.9001
    Traditional fine-tuning0.9121
    Proposed algorithm0.9201
    下载: 导出CSV
  • [1] Wei L, Zhong Z, Lang C, et al. A survey on image and video stitching [J]. Virtual Reality & Intelligent Hardware, 2019, 1(1): 55-83.
    [2] Feng R T, Du Q Y, Li X H, et al. Robust registration for remote sensing images by combining and localizing feature and area-based methods [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 151: 15-26. doi:  https://doi.org/10.1016/j.isprsjprs.2019.03.002
    [3] Xu Hongzhen, Li Shichao, Ji Yuhan. et al. Panoramic camera image mosaic method based on feature points [J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 150-158. (in Chinese)
    [4] Cai Huaiyu, Wu Xiaoyu, Zhuo Liran, et al. Fast SIFT image stitching algorithm combining edge detection [J]. Infrared and Laser Engineering, 2018, 47(11): 1126003. (in Chinese) doi:  10.3788/IRLA201847.1126003
    [5] Zhang Dexin, Ma Guangfu, Shao Xiaowei. Image mosaic for one aerial reconnaissance CCD camera based on object straight edge nodes [J]. Infrared and Laser Engineering, 2012, 41(1): 234-238. (in Chinese) doi:  10.3969/j.issn.1007-2276.2012.01.045
    [6] 徐秋辉. 无控制点的无人机遥感图像几何校正与拼接方法研究[D]. 南京: 南京大学, 2013.

    Xu Qiuhui. A method of geometric correction and mosaic of unmanned aerial vehicle remote sensing image without ground control points[D]. Nanjing: Nanjing University, 2013. (in Chinese)
    [7] Zhang Weiping, Li Xiujuan, Yu Junfeng, et al. Remote sensing image mosaic technology based on SURF algorithm in agriculture [J]. EURASIP Journal on Image and Video Processing, 2018: 85. doi:  10.1186/s13640-018-0323-5
    [8] Shao Ruizhe, Du Chun, Chen Hao, et al. Fast anchor point matching for emergency UAV image stitching using position and pose information [J]. Sensors, 2020, 20(7): 2007. doi:  10.3390/s20072007
    [9] Pei Hongxing, Liu Jinda, Ge Jialong, et al. A review on image mosaicing techniques [J]. Journal of Zhengzhou University(Natural Science Edition), 2019, 51(4): 1-10, 29. (in Chinese) doi:  10.13705/j.issn.1671-6841.2019004
    [10] Pandey Achala, Pati Umesh C. Image mosaicing: A deeper insight [J]. Image and Vision Computing, 2019, 89: 236-257. doi:  10.1016/j.imavis.2019.07.002
    [11] Chen Z F, Wu Q Y, Chen S Z, et al. Image registration based on spectral and spatial feature matching [J]. Laser & Optoelectronics Progress, 2020, 57(2): 021005. (in Chinese) doi:  10.3788/LOP57.021005
    [12] Wan Guoting, Wang Junping, Li Jin, et al. Method for quality assessment of image mosaic [J]. Journal on Communications, 2013, 34(8): 76-81. (in Chinese) doi:  10.3969/j.issn.1000-436x.2013.08.010
    [13] Wu Qiong, Li Liangfu, Wang Zhitao, et al. An accumulated error analysis and a reduction method for panoramic mosaic images [J]. Computer Engineering & Science, 2016, 38(11): 2268-2274. (in Chinese) doi:  10.3969/j.issn.1007-130X.2016.11.017
  • [1] 胡春光, 李恩赐, 翟聪, 高晓晴, 陈雨露, 郭梦迪.  大视场微球透镜超分辨显微成像技术的研究进展 . 红外与激光工程, 2022, 51(6): 20210438-1-20210438-14. doi: 10.3788/IRLA20210438
    [2] 高琰, 肖小月, 李小虎, 朱洪, 唐琎, 郭璠.  非一致重叠率大批量航拍远红外图像拼接方法研究 . 红外与激光工程, 2022, 51(7): 20210611-1-20210611-12. doi: 10.3788/IRLA20210611
    [3] 李家琨, 冯其波, 包传辰, 杨婧, 赵斌陶.  转轴转角定位误差测量方法与误差分析 . 红外与激光工程, 2019, 48(2): 217001-0217001(6). doi: 10.3788/IRLA201948.0217001
    [4] 张乐琪, 查冰婷, 张合.  激光引信饱和漂移误差消除算法 . 红外与激光工程, 2018, 47(12): 1206006-1206006(6). doi: 10.3788/IRLA201847.1206006
    [5] 杨上, 周召发, 刘先一, 张西辉.  基于数字天顶仪的星点图像坐标误差分析 . 红外与激光工程, 2018, 47(7): 726002-0726002(8). doi: 10.3788/IRLA201847.0726002
    [6] 史亚莉, 陶显, 周信达, 张家斌, 丁磊, 张正涛.  光学元件激光损伤在线检测装置 . 红外与激光工程, 2018, 47(4): 417003-0417003(7). doi: 10.3788/IRLA201847.0417003
    [7] 桂辉, 徐晓婷, 李博.  安防监控中图像拼接的配光问题研究 . 红外与激光工程, 2018, 47(8): 826003-0826003(8). doi: 10.3788/IRLA201847.0826003
    [8] 蔡怀宇, 武晓宇, 卓励然, 黄战华, 王星宇.  结合边缘检测的快速SIFT图像拼接方法 . 红外与激光工程, 2018, 47(11): 1126003-1126003(7). doi: 10.3788/IRLA201847.1126003
    [9] 安其昌, 张景旭, 杨飞, 孙敬伟.  GSSM系统抖动测量误差分析 . 红外与激光工程, 2017, 46(2): 217002-0217002(7). doi: 10.3788/IRLA201746.0217002
    [10] 胡雄超, 毛晓楠, 吴永康, 闫晓军, 余路伟, 王兆龙.  基于亚像元坐标的像素频率误差补偿方法 . 红外与激光工程, 2017, 46(7): 717006-0717006(6). doi: 10.3788/IRLA201746.0717006
    [11] 卢丙辉, 陈凤东, 刘炳国, 刘国栋, 戚子文.  基于映射图像匹配的子孔径拼接技术 . 红外与激光工程, 2016, 45(8): 824005-0824005(6). doi: 10.3788/IRLA201645.0824005
    [12] 王雨曦, 亓洪兴, 马彦鹏, 葛明锋.  画幅扫描红外成像实时拼接中的光束法平差 . 红外与激光工程, 2016, 45(1): 104002-0104002(6). doi: 10.3788/IRLA201645.0104002
    [13] 李峰, 崔希民, 刘小阳, 卫爱霞, 吴燕雄.  机载LIDAR 点云定位误差分析 . 红外与激光工程, 2014, 43(6): 1842-1849.
    [14] 王孝坤.  利用三坐标测量仪拼接检测大口径非球面面形 . 红外与激光工程, 2014, 43(10): 3410-3415.
    [15] 邓万涛, 汪凯巍, 白剑, 张金春.  高精度子孔径拼接中参考面误差的去除方法 . 红外与激光工程, 2014, 43(4): 1194-1199.
    [16] 崔凯, 刘朝晖, 李治国, 高雄, 谢友金, 王振宇.  坐标变换在空间望远镜误差标定中的应用 . 红外与激光工程, 2014, 43(S1): 151-156.
    [17] 冯晓宇, 宗肖颖.  一种去除拼接干涉图中累积误差的简单方法 . 红外与激光工程, 2014, 43(3): 997-1001.
    [18] 谢易辰, 陈健, 闫镔, 童莉, 曾磊, 崔明明.  三维特征点距离特征集合求交匹配算法 . 红外与激光工程, 2014, 43(8): 2728-2732.
    [19] 杨磊, 曹剑中, 唐利孬, 高博, 王华, 郭惠楠.  全景图像自动拼接算法的优化设计 . 红外与激光工程, 2014, 43(3): 985-990.
    [20] 李亮, 顾国华, 钱惟贤, 陈钱, 任建乐.  基于特征点和泊松融合的红外序列图像拼接 . 红外与激光工程, 2013, 42(9): 2584-2588.
  • 加载中
图(12) / 表(3)
计量
  • 文章访问数:  346
  • HTML全文浏览量:  101
  • PDF下载量:  39
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-12-22
  • 修回日期:  2021-02-02
  • 刊出日期:  2021-09-23

航空面阵图像拼接的累积误差消除方法

doi: 10.3788/IRLA20200529
    作者简介:

    岳 广,男,硕士生,主要从事数字图像配准、图像拼接方面的研究

    通讯作者: 孙文邦,男,副教授,博士,主要从事数字图像处理、信息保障理论方面的研究。
基金项目:  全军军事类研究生课题(DSSQ910252018010)
  • 中图分类号: TP391

摘要: 针对航空面阵遥感图像拼接算法一般存在误差累积的问题,提出了航空面阵图像拼接的累积误差消除方法。首先,利用航空遥感平台位置信息与姿态信息完成每幅图像投影变换与粗拼接,确保了每幅投影变换后图像拼接误差的独立性,从而避免了误差累积现象;然后,采用SIFT算法提取粗拼接相邻图像重叠区域的同名像点对,并根据同名像点对的位置差异,按照误差均分的原则,逐张独立地进行坐标微调及坐标精调,直到满足一定精度为止,以提高图像拼接精度,同时避免坐标调整时产生的误差累积。最后,通过主观评价(对比校正后卫星图像和文中拼接效果图像的地理对应关系)和客观评价(SSIM算法)对图像拼接质量进行评价。理论分析与实验结果表明:该方法能有效规避图像拼接中的误差累积问题,相对当前主要拼接方法,能够很好地与地理空间二维坐标保持一致性,且具有很好的实用价值和应用前景。

English Abstract

    • 图像拼接技术是指将具有重叠区域的两张图像通过一定的变换关系组合成一张宽视野图像。航空遥感图像拼接技术是在航空遥感技术上逐渐发展进步起来的,随着航空遥感在测绘工程,军事侦察和灾害防治方面的应用越来越多,相应的遥感图像拼接技术也得到了飞速发展[1-3]。目前,拼接误差积累消除是航空遥感图像拼接领域一个重点研究方向。

      虽然国内外学者对图像拼接技术研究不断深入,解决了如拼接速度,拼接精度,去除拼接缝等一系列问题[45],但是对于图像拼接误差累积的问题仍然没有得到有效消除。例如,徐秋辉[6]利用特征匹配进行微调,得到多条带拼接图像,但实验中以首张图像为基准,使得基准图像的误差传递给了下一张。Weiping Zhang[7]结合L-M算法,有效较少了误差累积,但当图像数据增多时,误差累积仍然比较明显。Ruizhe Shao[8]选择少量特征点作为锚点代替大量特征点进行特征匹配,保证了拼接速度,实验中如果图像重叠率较大并且畸变较小时,带来的误差累积效果不明显,但是图像数据重叠率较小时,实验中的误差累积会导致严重变形。

      因此,文中提出了一种航空遥感图像无误差累积拼接方法。首先利用航空遥感平台位置与姿态信息完成图像投影变换与图像无误差累积粗拼接,并通过改进的坐标微调策略,进一步消除传统坐标微调的误差累积并提高图像拼接的精度。

    • 传统图像拼接依靠特征匹配进行拼接[9-10],该方法仅考虑了相邻两张图像的映射关系,当进行多张图像拼接时,前一序列拼接图像间的误差传递到后续图像拼接效果中,如图1所示,理想情况下序列图像沿直线拼接,然而实际拼接时,图像可能会沿弧线一侧倾斜,造成严重的误差累积,且仅依靠该方法造成的误差累积不易消除,对后续图像拼接造成很大影响。

      图  1  误差累积

      Figure 1.  Error accumulation

    • 为了克服特征匹配拼接误差积累效应,利用每幅图像成像时的遥感平台位置与姿态信息,设置统一的地面空间分辨率D,逐幅图像向地面进行投影变换,保证每幅投影变换后图像拼接误差的独立性,避免传递性,继而消除了图像拼接的累积误差,如图2所示。当图像成像时,由航空遥感平台POS系统记录的摄影中心S1S2经纬度坐标为地面坐标系O-XYZ中地底点P1P2坐标。然后寻找像底点c1c2的投影点C1C2,即单幅图像投影后的原点位置,在图2中投影点C1C2与地底点P1P2重合。最后,在设置的地面分辨率D下,按照统一的图像方位,将投影后图像中投影点C1C2与地底点P1P2嵌套,即可完成无误差积累的粗略拼接。

      图  2  地面投影示意图

      Figure 2.  Schematic diagram of ground projection

    • 每幅待拼接的图像均按照面阵图像构像方程,如公式(1)所示,进行投影变换[11]

      $$\left\{ \begin{gathered} X - {X_S} = (Z - {Z_S})\frac{{{a_1}x + {a_2}y - {a_3}f}}{{{c_1}x + {c_2}y - {c_3}f}} \\ Y - {Y_S} = (Z - {Z_S})\frac{{{b_1}x + {b_2}y - {b_3}f}}{{{c_1}x + {c_2}y - {c_3}f}} \\ \end{gathered} \right.$$ (1)

      其中,

      $$\left\{ \begin{array}{l} {a_1} = \cos \phi \cos \kappa - \sin \phi \sin \omega \sin \kappa \\ {a_2} = - \cos \phi \sin \kappa - \sin \phi \sin \omega \cos \kappa \\ {a_3} = - \sin \phi \cos \omega \\ {b_1} = \cos \omega \sin \kappa \\ {b_2} = \cos \omega \cos \kappa \\ {b_3} = - \sin \omega \\ {c_1} = \sin \phi \cos \kappa + \cos \phi \sin \omega \sin \kappa \\ {c_2} = - \sin \phi \sin \kappa + \cos \phi \sin \omega \cos \kappa \\ {c_3} = \cos \phi \cos \omega \end{array} \right.$$

      式中:φωκ分别为相机的俯仰角、翻滚角和真航向角。

      为简化投影计算,可将参考坐标原点移至摄影中心,即XS=YS=ZS=0;并且将投影后图像坐标单位转换为pixel,公式(1)可以改写为:

      $$\left\{ \begin{gathered} X = - \frac{H}{D}\frac{{{a_1}x + {a_2}y - {a_3}f}}{{{c_1}x + {c_2}y - {c_3}f}} \\ Y = - \frac{H}{D}\frac{{{b_1}x + {b_2}y - {b_3}f}}{{{c_1}x + {c_2}y - {c_3}f}} \\ \end{gathered} \right.$$ (2)

      式中:D为设置的地面空间分辨率;XY坐标单位为pixel。根据公式(2)可以将图像中像点坐标(x,y)与投影图像中对应像素坐标(X,Y)建立联系。然后,将(x,y)处灰度值f(x,y)投影到坐标(X,Y)处。如果遍历图像中每一个像素即可完成图像的投影变换。

      公式(1)中采用真航向角进行投影变换,除了保证投影后图像方位的一致性外,还使投影后图像正上方为真北方向(X轴方向)、正左方为正西方向(Y轴方向);公式(2)中引入地面空间分辨率D,除为保证投影后图像方位地面空间分辨率的一致性,还使坐标单位转换为像素。这两种技术处理均是为了方便后续的图像拼接与评价工作。

    • 按照公式(2)将图像投影后得到投影结果,如图3所示,图像的四个顶点坐标分别为(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)。

      图  3  投影点位置确定

      Figure 3.  Determine the position of the projection point

      由于投影点处在单幅投影图像的原点位置(X0,Y0),故从图3可以看出,单幅投影图像原点为投影图像四个顶点坐标的最大值,即:

      $$\left\{ \begin{gathered} {X_0} = \max ({X_1},{X_2},{X_3},{X_4}) \\ {Y_0} = \max ({Y_1},{Y_2},{Y_3},{Y_4}) \\ \end{gathered} \right.$$ (3)
    • 在地面空间分辨率D下,设置图像拼接区域图,区域上方为真北方向,如图4所示。首先在其中任意确定Pi点。例如,不失一般性首先确定P1点坐标(X1,Y1),坐标单位:pixel;然后依次确定其他摄影中心对应地面点坐标。

      图  4  地底点位置确定

      Figure 4.  Determine the position of the ground nadir point

      例如,P2点坐标由地底点P1P2经纬坐标(B1,L1)、(B2,L2)按公式(4)计算得到:

      $$\left\{ \begin{array}{l} {X_2} = {X_1} + {M_0}\Delta B\left[1 + \dfrac{{{{e'}^2}\Delta {B^2}\cos (2{B_0})}}{8}\right]\Bigg{/}D\\ {Y_2} = {Y_1} + (\Delta L{N_0}\cos {B_0})/D \end{array} \right.$$ (4)

      其中

      $$\left\{ \begin{gathered} {N_0} = \frac{a}{{\sqrt {1 - {e^2}{{\sin }^2}{B_0}} }} \\ {M_0} = \frac{{a(1 - {e^2})}}{{{{(1 - {e^2}{{\sin }^2}{B_0})}^{3/2}}}} \\ \end{gathered} \right.$$

      式中:ΔB=B2B1B0=(B2+B1)/2;ΔL=L1L2a为地球长半轴;e为地球的偏心率;e′为椭球第二偏心率;D为设置的地面空间分辨率。

      在拼接区域图中,如果将每幅投影图像的投影点与对应的地底点嵌套放置,即可完成图像的无误差积累的粗拼接。但是,遥感平台位置与姿态信息的测量精度对图像投影变换效果影响较大。一般情况下,平台位置与姿态信息均存在一定误差,造成拼接图像中相邻图像间存局部错位情况,需要进一步利用图像间坐标微调提高拼接精度。

    • 部分学者提出针对坐标微调提出各种策略,然而这些方法中使用某一条带或某一图像作为基准[6]。当以某图像作为基准图像时,默认为该图像的位置不存在误差,当进行坐标微调时,基准图像的误差仍然存在并会将该误差传递到待微调图像。随着拼接图像数量增加,误差会进行累积,当误差累积达到一定数值,对后续图像产生影响。

      例如,I1In是经图像粗拼接后得到图像,如图5所示,由于每张图像自身位置存在一定误差。当以I1作为基准图像时,默认I1自身位置准确,由此I1自身误差被忽略了,但是在通过调整I2以实现与I1精拼接的过程中,I1自身误差传递给了I2。当前状态下,I2看似与I1完成了精拼接,但此时I2位置并非其准确位置。进行I3I2之间微调时,由于此时I2在前一过程中进行了微调,I3I2特征点间匹配关系发生了变化,为了使得二者能准确拼接,需将I2微调后特征点与I3匹配进行微调,由此误差再次累积。如此往复,进行到In微调时,In位置累积误差是前n−1张总和。

      图  5  传统微调的误差累积

      Figure 5.  Error accumulation of traditional fine-tuning

      综上所述,坐标微调误差累积来源分为两部分,其一为没有考虑基准图像误差,导致基准图像误差传递给后续图像;其二为误差间的传递性,由于后续图像微调建立在与前一图像的特征匹配关系上,当前一图像微调后,二者间误差也由此传递。

    • 针对拼接图像微调误差累积的问题,文中提出了无误差累积坐标调整策略。首先,针对第一部分误差累积来源,提出无基准图像微调,即不设定基准图像,将每张图像视为独立个体,对每张图像都需要进行坐标微调,以减小自身精度带来的误差,确保该值不会传递到后续图像。针对第二部分误差累积来源,提出全局图像微调策略。在上一步微调的基础上,综合考虑图像与其相邻图像间关系,再进行相应的坐标精调。

      为了便于描述,采用图像行(或列)向坐标微调来说明,如图6所示。图6中5段粗实线表示5幅拼接图像位置,实线(图像)端点表示拼接图像重叠区域采用SIFT算法提取的同名像点位置。

      图  6  图像坐标调整示意图

      Figure 6.  Image coordinate adjustment diagram

    • (1)重叠区域特征点错位误差值确定

      在拼接图像的重叠区域利用SIFT算法提取同名像对坐标(x11,y11)、(x21,y21)、……、(x1n,y1n)、(x2n,y2n),如图7所示,分别计算每对同名像点的位置差,如公式(5)所示:

      $$\left\{ {\begin{array}{*{20}{c}} {\Delta {x_1} = {x_{11}} - {x_{21}}} \\ {\Delta {y_1} = {y_{21}} - {y_{11}}} \\ \vdots \\ {\Delta {x_n} = {x_{1n}} - {x_{2n}}} \\ {\Delta {y_n} = {y_{2n}} - {y_{1n}}} \end{array}} \right.$$ (5)

      然后,按照1 pixel的间隔步长,分别统计X轴方向与Y轴方向的误差直方图。最后,分别取两个方向直方图中极大值的均值作为特征点错位误差值mxny

      (2)坐标微调

      图6中,粗拼接图像之间均有一定的错位,重叠区域错位像素值采用正值表示,间隔区域错位像素值采用负值表示。

      为了防止微调的误差积累,采取拼接误差均分的思想,每幅拼接图像可以单独地根据图像坐标轴负方向错位值(mx2,ny2)和正方向错位值(mx1,ny1),按照公式(6)单独进行微调。两端拼接图像的错位值可设置为(0,0),如图6中所示的位置差表示方法。

      $$\left\{ \begin{gathered} \Delta M = \frac{{{m_{x2}} - {m_{x1}}}}{2} \\ \Delta N = \frac{{{n_{y2}} - {n_{y1}}}}{2} \\ \end{gathered} \right.$$ (6)

      如果ΔM (或ΔN)为正值,则向X (或Y)轴正方向微调|ΔM| (或|ΔN|)的像素距离;如果ΔM (或ΔN)为负值,则向X (或Y)轴负方向微调|ΔM| (或|ΔN|)的像素距离;如果ΔM (或ΔN)为零值,则不调整。

      采用此方法进行坐标微调时,由于不选择基准图像,每幅拼接图像独立进行局部区域微调,拼接图像选择的先后顺序对微调效果没有影响,避免了基准图像误差传递,确保了坐标微调不会产生误差积累现象。

      图  7  特征点错位误差值确定

      Figure 7.  Determine feature point misalignment error value

    • 经过坐标微调后的图像克服了传统坐标微调的误差累积,但实验中仅经过坐标微调后的拼接图像之间仍然存在一定的误差,如图6中坐标微调示意图所示。为了进一步消除拼接误差,提出无误差累积坐标精调的办法。精调流程如图8所示。

      首先,按照微调计算方法,重新计算微调后的拼接图像各匹配点间错位误差值mxny。其次,判断X轴或Y轴方向错位误差值的绝对值是否小于一定阈值ε,实验中阈值ε取为10。若大于ε,认为调整后精度仍达不到要求,则在调整后特征匹配关系基础上,按照坐标微调的方法再次进行坐标精调;若小于ε时,认为精调后精度达到预定要求,不需要调整。最后,经过多次的精调,直到拼接图像间错位误差值均小于设置的阈值ε即完成拼接。

      图6中精调所示,通过坐标微调及坐标精调,各图像间重叠区域及间隔区域缩小,相比于初始图像错位情况得到明显改善,体现了坐标调整无误差累积且精度高的优点。

      图  8  坐标精调流程图

      Figure 8.  Coordinate adjustment flow chart

    • 文中采取主观评价与客观评价相结合的方式对拼接后效果图像进行评价。主观评价准则采用国际无线电咨询委员会制定的CCIR500-1的主观评价标准[12],如表1所示。

      表 1  主观评价标准

      Table 1.  Subjective evaluation criteria

      LevelQuality guidelinesObstruction criterion
      5First-classNo picture quality deterioration
      4WellYou can feel the image quality has deteriorated, but it does not hinder viewing
      3AverageIt is clear that the image quality has deteriorated, which will slightly hinder viewing
      2LowObstruct viewing
      1Very poorVery seriously obstructing viewing

      然而图像拼接具有一定特殊性,由于图像拼接更加关注相邻图像间的灰度过渡和拼接缝带来的影响,而且主观评价对于图像拼接质量缺乏量化的标准,个人印象受影响的因素较多,因此客观评价也是很有必要的。

      借鉴参考文献[12]中对图像质量评价的做法,选用SSIM算法对图像拼接质量进行评价。SSIM算法从亮度、对比度和结构相似度对拼接质量进行评价。评价公式(7)如下:

      $$SSIM(x,y) = \frac{{(2{\mu _x}{\mu _y} + {C_1}')(2{\sigma _{xy}} + {C_2}')}}{{(\mu _x^2 + \mu _y^2 + {C_1}')({\sigma _x} + {\sigma _y} + {C_2}')}}$$ (7)

      式中:C1'C2'分别是为了防止分母过小引起函数不稳定而引入的常量;μxμy为标准图像和待评价图像的平均强度;σxσy为标准差;σxy表示两图像间互相关系数。

    • 文中实验采用航空无人机拍摄某地区的序列图像,如图9所示,图像大小为5344 pixel×4008 pixel,航向重叠率为20%,姿态参数如表2所示。

      图  9  实验图像

      Figure 9.  Experimental images

      表 2  姿态参数

      Table 2.  Attitude parameters

      Pitch angle/(°)Roll angle/(°)Heading angle/(°)Height/mLongitude/(°)Latitude/(°)
      3.010.11112.6900147587.389742.0944
      2.890.00112.7697147587.395842.0936
      2.900.14112.4597147587.399442.0927
      3.070.22112.5400147587.403042.0919
      3.160.02112.5597147487.406942.0911
      2.870.31112.4800147587.410542.0900
      3.130.39112.4800147487.414142.0891
      3.100.15112.7600147487.417742.0883
      3.210.13112.9400147487.421342.0875

      为了验证算法无误差累积的优点,采用序列图像拼接。按文中算法将图像序列拼接,首先给出文中算法结果与卫星影像叠合的结果,并与参考文献[3]进行比较,如图10所示。

      图  10  实验结果对比。(a)文中实验结果;(b)参考文献[3]实验结果

      Figure 10.  Comparison of experimental results. (a) Proposed experimental results; (b) Literature [3] experimental results

      文中实验数据结果如图10(a)所示,由于文中采用了基于地理坐标方式拼接,使得单张图像间的误差不会出现传递,并且在进行坐标微调时,确保了每张图像间的同等变换,即使图像数量增加,也不会造成严重的图像畸变。而参考文献[3]实验结果如图10(b)所示,参考文献[3]以特征匹配的方法进行拼接,选择首张图像作为基准图像,靠近左上方的图像质量较好,能与卫星影像基本对齐,而随着拼接误差累积,右下方图像质量骤然下降,产生了明显的图像畸变。与图10(a)框中所选范围进行对比,发现参考文献[3]实验中影像明显产生畸变,且误差累积严重,不能与卫星影像实现对齐。随着拼接图像数量增加,图像产生的畸变也越来越大。通过对比可以发现,当选择以特征匹配作为拼接方法时,误差累积效果会进行图像间传递,而文中算法消除了图像拼接间的误差累积,由此验证了文中算法有效地解决了图像误差累积问题。

      为了验证文中算法拼接的精度,采用主观评价与客观评价相结合的方法。给出参考文献[13]与文中算法细节对比结果,如图11所示。

      图  11  实验细节对比图像。(a)文中实验;(b)参考文献[13]的实验;(c)细节对比

      Figure 11.  Experimental details contrast images. (a) Proposed experimental details; (b) Literature [13] experimental results; (c) Detailed comparison

      主观评价方面,通过文中实验(如图11(a)所示)与参考文献[13]实验(如图11(b)所示)以及细节部分。参考文献[13]采用影像分层匹配的方式进行拼接,通过对拼接序列图像进行分层,将图像总体误差平均分配到各影像序列中,图像拼接总体效果较有改善,然而拼接图像局部细节不佳,拼接精度不高。如图11(c)所示,左图为文中细节部分,右图为参考文献[13]细节部分,通过对比发现参考文献[13]由于采用分层匹配拼接的思想,图像之间的拼接效果并不理想,出现明显拼接错位。

      客观评价方面,采用SSIM算法对参考文献[3],参考文献[13],传统坐标微调结果与文中算法结果进行图像质量评价,对比验证文中算法精度。给出SSIM算法质量评价结果,如表3所示。

      表 3  SSIM评价

      Table 3.  SSIM evaluation

      ImagesSSIM evaluation
      Literature [3]0.8790
      Literature [13]0.9001
      Traditional fine-tuning0.9121
      Proposed algorithm0.9201

      通过表3数据发现,参考文献[3]评价结果明显差于其他三种坐标微调结果。而文中算法的拼接质量较优于参考文献[13]和传统微调算法拼接质量。这是由于文中算法消除了图像拼接间的误差累积,并且进一步提高了拼接精度,同时兼顾了局部拼接和整体叠合的效果,整幅拼接图像结构上没有产生明显的错位。由此验证了文中算法拼接的精度。

      为了充分验证文中算法无误差累积的优点,对比与卫星影像叠合的细节部分,如图12所示,图12(c)为细节对比图像,左侧为文中算法结果,右侧为传统微调算法结果。对比发现文中无误差累积微调算法结果能与卫星图像有效叠合,且无明显错位,而传统坐标微调与之叠合结果产生了明显的偏差,在区域1和区域2处,发现明显图像结果与卫星影像不能实现正确对齐。这是由误差累积导致的错位,当图像数量增加时,错位会更加明显。由此验证了文中算法的精度上高于传统坐标微调精度,体现了文中算法无误差累积的优点。

      图  12  实验细节对比图像。(a)文中实验细节;(b)传统微调实验细节;(c)细节对比

      Figure 12.  Experimental details contrast images. (a) Proposed experimental details; (b) Traditional fine-tuning experiment details; (c) Detailed comparison

      为提高拼接精度,文中在实验中采用迭代运算进行图像精调,由此给图像拼接处理带来了一定运算量。文中利用地理位置坐标进行图像粗拼接,定位误差不大于30 m,实验中设定图像分辨率为0.1 m,对应像素点距离不超过300 pixel。为使特征匹配对间距离不大于ε pixel,进行图像间坐标精调,由此可知,ε的大小将直接影响图像精调的计算量。文中根据实验数据,设定ε为10,共进行12次迭代运算。既保证了图像拼接精度,又不会使计算量急剧增加。

      经过文中方法完成粗拼接及坐标调整,图像几何结构上完成对齐,基本满足图像拼接目视观察要求。

    • 文中针对航空图像拼接误差累积问题,提出了航空面阵图像拼接的累积误差消除方法。通过实验对比表明,文中方法解决了图像拼接误差累积的问题。在图像质量评价和与卫星图像叠合中,说明文中方法有效地解决了图像拼接误差积累问题,很好地与地理空间二维信息保持了一致性。

参考文献 (13)

目录

    /

    返回文章
    返回