留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

强散射背景下的图像感知、融合与可视化技术

王婷 税渝阳 梁浩文 刘忆琨 周建英

王婷, 税渝阳, 梁浩文, 刘忆琨, 周建英. 强散射背景下的图像感知、融合与可视化技术[J]. 红外与激光工程, 2022, 51(8): 20220418. doi: 10.3788/IRLA20220418
引用本文: 王婷, 税渝阳, 梁浩文, 刘忆琨, 周建英. 强散射背景下的图像感知、融合与可视化技术[J]. 红外与激光工程, 2022, 51(8): 20220418. doi: 10.3788/IRLA20220418
Wang Ting, Shui Yuyang, Liang Haowen, Liu Yikun, Zhou Jianying. Image perception, fusion and visualization technology in strong scattering condition[J]. Infrared and Laser Engineering, 2022, 51(8): 20220418. doi: 10.3788/IRLA20220418
Citation: Wang Ting, Shui Yuyang, Liang Haowen, Liu Yikun, Zhou Jianying. Image perception, fusion and visualization technology in strong scattering condition[J]. Infrared and Laser Engineering, 2022, 51(8): 20220418. doi: 10.3788/IRLA20220418

强散射背景下的图像感知、融合与可视化技术

doi: 10.3788/IRLA20220418
基金项目: 国家自然科学基金(61991452,12074444);广东省基础与应用基础研究重大专项(2020 B0301030009);广东省基础与应用基础研究基金会(2020 A1515011184);广州市基础与应用基础研究基金会(202102020987)
详细信息
    作者简介:

    王婷,女,硕士生,主要从事水下和大气散射环境的光学成像技术方面的研究

  • 中图分类号: O439

Image perception, fusion and visualization technology in strong scattering condition

Funds: National Natural Science Foundation of China (61991452,12074444);Key Project of Basic and Applied Basic Research of Guangdong Province(2020 B0301030009);Guangdong Foundation for Basic and Applied Basic Research(2020 A1515011184);Guangzhou Foundation for Basic and Applied Basic Research(202102020987)
  • 摘要: 视觉信息是人类对周边环境进行感知的重要手段,光学成像和图像处理技术能大大扩展人类“视域”,使得人们获取图像的方式不局限于眼睛能见范围。散射效应导致光学成像装置的作用距离大幅下降,难以对远距离目标进行有效观测。人类对图像信息的感知,通常由对焦、校正和立体视觉形成,三个步骤互相耦合完成。其中,对焦和双目图像信息校正过程可以通过光学系统和数字图像处理的方法进行优化,提高强散射背景下的图像对比度,进而使得散射条件下的图像信息得以被感知和分析。然而,在目前技术条件下,机器立体视觉仍难以达到人类视觉水平,而人类视觉系统仍然是图像感知和分析的重要终端。可以预见,在低能见度条件下实现光学图像信息的精确获取与分析,仍需要实现人类视觉系统和机器的双重结合,发展包含人类视觉在内的立体视觉全局优化技术。主要介绍了在大气和水下浑浊条件下实现光学成像和实现图像融合的物理极限和关键影响因素,并展望人类的立体视觉在提高光学成像能力方面的作用。
  • 图  1  (a) 大气成像模型示意图;(b) 有雾场景对对比度的影响

    Figure  1.  (a) Schematic diagram of atmospheric optical imaging model; (b) Effect of foggy scenes on contrast

    图  2  能见度实验室20 m基线雾舱

    Figure  2.  Visibility lab 20 m baseline fog cabin

    图  3  (a),(b) Hamamatsu C11440-22 CU在7 m能见度下的原图与恢复结果;(c),(d) FLIR Blackfly S BFS-U3-51 S5在10 m能见度下原图与恢复结果;(e),(f) Basler acA2040-90 uc在12 m能见度下原图与恢复结果;(g) 介质光学厚度与动态范围的关系,红线为公式 (9)计算的理论关系,黑点为雾舱实验结果

    Figure  3.  (a), (b) Hamamatsu C11440-22 CU original image and recovery results at 7 m visibility; (c), (d) FLIR Blackfly S BFS-U3-51 S5 original image and recovery results at 10 m visibility; (e), (f) Basler acA2040-90 uc original image and recovery results at 12 m visibility; (g) Relationship between optical thickness of the medium and dynamic range. The red line is the theoretical relationship calculated by Equation (9), and the black point is the experimental results in fog cabin

    图  4  成像系统的模拟归一化点扩散函数(像元尺寸为15 μm,探测器元件的数量为512,光学直径为4 cm),在可见光波长(550 nm)下工作,用于三种焦距:1、10、100 cm。使用的气溶胶模型是(a) 对流层气溶胶(能见度为50 km): τ=0.078和ωt0=0.97;(b) 农村气溶胶(能见度为5 km);τ=0.78和ωt0=0.96;(c) 辐射雾(能见度为0.5 km);τ=7.8和ωt0=1.0 (τ为大气光学厚度,ωt0是消光系数和散射系数的比)[17]

    Figure  4.  Simulated normalized PSF of imaging systems (sensor size is 15 μm, the number of pixels is 512, and the optics diameter is 4 cm) operating in the visible wavelength (550 nm) for three focal lengths: 1, 10, and 100 cm. The aerosol models used are (a) tropospheric aerosol (visibility of 50 km): τ=0.078 and ωt0=0.97; (b) rural aerosol (visibility of 5 km); τ=0.78 and ωt0=0.96; and (c) radiation fog (visibility of 0.5 km); τ=7.8 and ωt0=1.0 (τ is the atmospheric optical depth, and ωt0 is the ratio of the extinction coefficient to the scattering coefficient)[17]

    图  5  4 m能见度下的仿真结果[18]

    Figure  5.  Simulation results at 4 m visibility[18]

    图  6  水下成像结果,水体消光系数为0.97 m−1。(a) 6.7 m的拍摄图像;(b) 8 m的拍摄图像

    Figure  6.  Underwater imaging results, extinction coefficient is 0.97 m−1.(a) Imaging result at a distance of 6.7 m; (b) Imaging result at a distance of 8 m

    图  7  (a) 目标的清晰图像;(b),(c) 在8 m和7 m能见度下的模拟成像结果;(d),(e) 在9 m和8 m能见度下20 m的实验成像结果[18]

    Figure  7.  (a) Clear image of the target; (b), (c) Simulation imaging results at 8 and 7 m visibility, corresponding; (d), (e) Experimental results at 20 m at 9 and 8 m visibility, corresponding[18]

    图  8  多视投影几何关系示意图[25]

    Figure  8.  Schematic diagram of multi-view projection geometry[25]

    图  9  融合实验结果。(a) 单视点去雾;(b) 四个视点融合去雾;(c) 七个视点融合去雾;(d) 10个视点融合去雾;(e) 融合数量与结构相似度(SSIM)的关系[25]

    Figure  9.  Fusion experimental results. (a) Single viewpoint defogging; (b) 4 viewpoints fusion defogging; (c) 7 viewpoints fusion defogging; (d) 10 viewpoints fusion defogging; (e) The relationship between the number of fused viewpoint and corresponding structural similarity (SSIM)[25]

    表  1  实验相机参数

    Table  1.   Camera parameters for the experiment

    Camera modelHamamatsu C11440-22 CUFLIR Blackfly S
    BFS-U3-51 S5
    Basler acA2040-90 uc
    Sensor typesCMOSCMOSCMOS
    Sensor modelN/ASony IMX250CMOSIS CMV4000
    Full well capacity/e300001033011900
    Readout noise/e0.82.313.8
    Dynamic range37500∶14491∶1862:1
    Pixel bit depth/bits1610, 1216
    The lowest visibility of imaging can be achieved/m71012
    下载: 导出CSV
  • [1] Popoff S, Lerosey G, Carminati R, et al. Measuring the transmission matrix in optics: an approach to the study and control of light propagation in disordered media [J]. Physical Review Letters, 2010, 104(10): 100601. doi:  10.1103/PhysRevLett.104.100601
    [2] Zheng Shanshan, Yang Wanqin, Situ Guohai. Application of computational optical imaging in scattering [J]. Infrared and Laser Engineering, 2019, 48(6): 0603005. (in Chinese) doi:  10.3788/IRLA201948.0603005
    [3] Roddier F, Thompson L. Adaptive optics in astronomy [J]. Physics Today, 2000, 53(4): 69.
    [4] Huang D, Swanson E A, Lin C P, et al. Optical coherence tomograph [J]. Science, 1991, 254(5035): 1178-1181. doi:  10.1126/science.1957169
    [5] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi:  10.1038/nphoton.2014.189
    [6] Rosen J, Aguiar H, Anand V, et al. Roadmap on chaos-inspired imaging technologies (CT2-Tech) [J]. Applied Physics B, 2022, 128: 49.
    [7] McCartney E J. Optics of the Atmosphere: Scattering by Molecules and Particles[M]. New York: John Wiley and Sons, Inc, 1976.
    [8] Narasimhan S G, Nayar S K. Removing weather effects from monochrome images[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001, 2: 186-193.
    [9] Nayar S K, Narasimhan S G. Vision in bad weather[C]//Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra, Greece. New York: IEEE,1999, 2: 820-827.
    [10] Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images [J]. IEEE Tran Pattern Anal Mach Intell, 2003, 25(6): 713-724. doi:  10.1109/TPAMI.2003.1201821
    [11] Tan R T. Visibility in bad weather from a single image[C]//2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA. New York: IEEE, 2008: 1-8.
    [12] Sadot D, Kopeika N S. Imaging through the atmosphere: practical instrumentation-based theory; and verification of aerosol modulation transfer function [J]. Journal of the Optical Society of America A, 1993, 10(1): 172-179.
    [13] Li Shujun, Jiang Huilin, Zhu Jingping, et al. Development status and key technologies of polarization imaging detection [J]. Chinese Optics, 2013, 6(6): 803-809. (in Chinese)
    [14] Zhao Yongqiang, Chen Yi, Kong S G, et al. Multi-band Polarization Imaging and Applications[M]. Berlin: Springer-Verlag, 2016.
    [15] Kim I I, McArthur B, Korevaar E J. Comparison of laser beam propagation at 785 nm and 1550 nm in fog and haze for optical wireless communications[C]//Proceedings of SPIE, 2022, 4214(2): 26-37.
    [16] Zhen Zhaoping, Zeng Hansheng, Ding Cuijiao, et al. Summary on the infrared thermal imaging temperature measurement technology and its application [J]. Infrared Technology, 2003, 25(1): 96-98. (in Chinese) doi:  10.3969/j.issn.1001-8891.2003.01.024
    [17] Ben Dor B, Devir A D, Shaviv G, et al. Atmospheric scattering effect on spatial resolution of imaging systems [J]. J Opt Soc Am A, 1997, 14(6): 1329-1337. doi:  10.1364/JOSAA.14.001329
    [18] Zhao Guanwen, Shui Yuyang, Huang Yuru, et al. Self-masking of optical image in dense fog for extended object [J]. Optics Continuum, 2022, 1(6): 1286-1293. doi:  10.1364/OPTCON.457938
    [19] Jin Xin, Wang Xiaoyu, Du Dongyu, et al. Progress and prospect of scattering imaging [J]. Laser and Optoelectronics Progress, 2021, 58(18): 1811002. (in Chinese) doi:  10.3788/LOP202158.1811002
    [20] Feng S, Kane C, Lee P, et al. Correlations and fluctuations of coherent wave transmission through disordered media [J]. Phys Rev Lett, 1988, 61(834): 834-837.
    [21] Zhu Shuo, Guo Enlai, Bai Lianfa, et al. Efficient learning-based phase retrieval method through unknown scattering media [J]. Infrared and Laser Engineering, 2022, 51(2): 20210889. (in Chinese) doi:  10.3788/IRLA20210889
    [22] Zhuang H, He H, Xie X, et al. High speed color imaging through scattering media with a large field of view [J]. Sci Rep, 2016, 6: 32696. doi:  10.1038/srep32696
    [23] Xu Xiaoqing, Xie Xiangsheng, Thendiyammal Abhilash, et al. Imaging of objects through a thin scattering layer using a spectrally and spatially separated reference [J]. Opt Express, 2018, 26(12): 15073-15083. doi:  10.1364/OE.26.015073
    [24] Wang F, Zhang B, Zhang C, et al. Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex [J]. Ad Hoc Networks, 2021, 113(4): 102398.
    [25] Huang Yuru, Liu Yikun, Liu Haishan, et al. Multi-view optical image fusion and reconstruction for defogging without a prior in-plane [J]. Photonics, 2021, 8(10): 454. doi:  10.3390/photonics8100454
    [26] David Marr. Vision: A Computational Investigation into the Human Representation and Processing of Visual Information[M]. Cambridge: MIT Press, 1982.
    [27] Palmer S E. Vision Science: Photons to Phenomenology[M]. Cambridge: MIT Press, 1999.
    [28] Bamard S, Fischler M. Computational Stereo [J]. ACM Computer Surveys, 1982, 14(4): 553-572. doi:  10.1145/356893.356896
    [29] Ham B, Min D, Oh C, et al. Probability-based rendering for view synthesis [J]. IEEE Transactions on Image Processing, 2014, 23(2): 870-884. doi:  10.1109/TIP.2013.2295716
    [30] Lin Sen, Yin Xinyong, Tang Yandong. Research status and prospect of binocular stereo matching technology [J]. Science Technology and Engineering, 2017, 17(30): 135-147. (in Chinese) doi:  10.3969/j.issn.1671-1815.2017.30.019
    [31] 程朦依, 税渝阳, 王晓露, 等. 一种视差增强光学望远及成像系统和方法: CN, 114638750 A[P]. 2022-06-17.
    [32] 康来. 基于图像点特征的三维重建方法研究[D]. 长沙: 国防科学技术大学, 2013.

    Kang Lai. A study of 3D reconstruction methods based on image feature points[D]. Changsha: National University of Defense Technology, 2013. (in Chinese)
    [33] Xie Zexiao, Li Junpeng, Chi Shukai. Underwater binocular measurement method based on line-structured light [J]. Chinese Journal of Lasers, 2020, 47(5): 0504004. (in Chinese) doi:  10.3788/CJL202047.0504004
    [34] Bela Jules. Binocular depth perception of computer-generated patterns [J]. Bell System Technical Journal, 1960, 39(5): 1125-1162.
  • [1] 席特立, 王毓植, 刘若玉, 赵梦泽, 樊增增, 梁文海, 孙杨帆, 刘金鹏, 相萌, 刘飞, 邵晓鹏.  基于散斑相关的宽视场成像技术研究进展(特邀) . 红外与激光工程, 2022, 51(8): 20220322-1-20220322-20. doi: 10.3788/IRLA20220322
    [2] 朱硕, 郭恩来, 柏连发, 韩静.  高效学习的透过未知散射介质的相位恢复方法 . 红外与激光工程, 2022, 51(2): 20210889-1-20210889-9. doi: 10.3788/IRLA20210889
    [3] 王志远, 赖雪恬, 林惠川, 陈福昌, 曾峻, 陈子阳, 蒲继雄.  基于深度学习实现透过浑浊介质图像重构(特邀) . 红外与激光工程, 2022, 51(8): 20220215-1-20220215-10. doi: 10.3788/IRLA20220215
    [4] 和河向, 黎永耀, 黄锦圣.  基于相位共轭实现散射成像及光学幻像的双功能散射光调控方法(特邀) . 红外与激光工程, 2022, 51(8): 20220266-1-20220266-12. doi: 10.3788/IRLA20220266
    [5] 郭恩来, 师瑛杰, 朱硕, 程倩倩, 韦一, 苗金烨, 韩静.  深度学习下的散射成像:物理与数据联合建模优化(特邀) . 红外与激光工程, 2022, 51(8): 20220563-1-20220563-13. doi: 10.3788/IRLA20220563
    [6] 刘金鹏, 冯怡, 刘蕾, 相萌, 刘飞, 邵晓鹏.  全息技术在散射成像领域中的研究及应用进展(特邀) . 红外与激光工程, 2022, 51(8): 20220307-1-20220307-15. doi: 10.3788/IRLA20220307
    [7] 王晓艳, 徐高魁.  基于立体视觉与特征匹配的点云目标识别算法 . 红外与激光工程, 2022, 51(9): 20210596-1-20210596-7. doi: 10.3788/IRLA20210596
    [8] 曾瀚林, 孟祥勇, 钱惟贤.  高斯差分滤波图像融合方法 . 红外与激光工程, 2020, 49(S1): 20200091-20200091. doi: 10.3788/IRLA20200091
    [9] 郑珊珊, 杨婉琴, 司徒国海.  计算光学成像在散射中的应用 . 红外与激光工程, 2019, 48(6): 603005-0603005(15). doi: 10.3788/IRLA201948.0603005
    [10] 孙鸣捷, 张佳敏.  单像素成像及其在三维重建中的应用 . 红外与激光工程, 2019, 48(6): 603003-0603003(11). doi: 10.3788/IRLA201948.0603003
    [11] 黄富瑜, 郑喆, 李佩军, 谢大兵, 黄欣鑫.  非相似立体视觉模型构建与验证 . 红外与激光工程, 2019, 48(8): 825003-0825003(7). doi: 10.3788/IRLA201948.0825003
    [12] 张家民, 时东锋, 黄见, 王英俭.  图像融合在偏振关联成像中的应用 . 红外与激光工程, 2018, 47(12): 1226002-1226002(7). doi: 10.3788/IRLA201847.1226002
    [13] 林丽媛, 侯春萍, 王凯, 周志远.  基于动态随机点立体图的立体视觉深度运动特性分析 . 红外与激光工程, 2015, 44(4): 1365-1369.
    [14] 曾祥通, 张玉珍, 孙佳嵩, 喻士领.  颜色对比度增强的红外与可见光图像融合方法 . 红外与激光工程, 2015, 44(4): 1198-1202.
    [15] 朴燕, 刘磊, 刘笑宇.  低照度环境下视频增强技术 . 红外与激光工程, 2014, 43(6): 2021-2026.
    [16] 张宝辉, 闵超波, 窦亮, 张俊举, 常本康.  目标增强的红外与微光图像融合算法 . 红外与激光工程, 2014, 43(7): 2349-2353.
    [17] 林丽媛, 侯春萍, 王凯.  立体视觉舒适融合限预测模型的研究 . 红外与激光工程, 2014, 43(S1): 231-237.
    [18] 张勇, 金伟其.  夜视融合图像质量主观评价方法 . 红外与激光工程, 2013, 42(2): 528-532.
    [19] 张勇, 金伟其.  夜视融合图像质量客观评价方法 . 红外与激光工程, 2013, 42(5): 1360-1365.
    [20] 张俊举, 常本康, 张宝辉, 闵超波, 袁轶慧, 姜斌.  远距离红外与微光/可见光融合成像系统 . 红外与激光工程, 2012, 41(1): 20-24.
  • 加载中
图(9) / 表(1)
计量
  • 文章访问数:  234
  • HTML全文浏览量:  62
  • PDF下载量:  93
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-06-18
  • 修回日期:  2022-07-14
  • 网络出版日期:  2022-08-31
  • 刊出日期:  2022-08-31

强散射背景下的图像感知、融合与可视化技术

doi: 10.3788/IRLA20220418
    作者简介:

    王婷,女,硕士生,主要从事水下和大气散射环境的光学成像技术方面的研究

基金项目:  国家自然科学基金(61991452,12074444);广东省基础与应用基础研究重大专项(2020 B0301030009);广东省基础与应用基础研究基金会(2020 A1515011184);广州市基础与应用基础研究基金会(202102020987)
  • 中图分类号: O439

摘要: 视觉信息是人类对周边环境进行感知的重要手段,光学成像和图像处理技术能大大扩展人类“视域”,使得人们获取图像的方式不局限于眼睛能见范围。散射效应导致光学成像装置的作用距离大幅下降,难以对远距离目标进行有效观测。人类对图像信息的感知,通常由对焦、校正和立体视觉形成,三个步骤互相耦合完成。其中,对焦和双目图像信息校正过程可以通过光学系统和数字图像处理的方法进行优化,提高强散射背景下的图像对比度,进而使得散射条件下的图像信息得以被感知和分析。然而,在目前技术条件下,机器立体视觉仍难以达到人类视觉水平,而人类视觉系统仍然是图像感知和分析的重要终端。可以预见,在低能见度条件下实现光学图像信息的精确获取与分析,仍需要实现人类视觉系统和机器的双重结合,发展包含人类视觉在内的立体视觉全局优化技术。主要介绍了在大气和水下浑浊条件下实现光学成像和实现图像融合的物理极限和关键影响因素,并展望人类的立体视觉在提高光学成像能力方面的作用。

English Abstract

    • 图像信息是人类实现对外界态势感知的重要参考依据。以光学成像技术为基础的图像信息获取技术在成像分辨率、目标识别能力、形貌与纹理分析、探测隐蔽性和视觉直观性方面具有明显优势。然而,当光透过强散射介质时,成像光场会受到严重的破坏,成像效果急剧恶化,光电探测系统的作用距离被大大压缩。例如:雾霾条件使得成像系统的作用距离被局限在能见度范围内;水下环境中存在大量的杂质,如泥沙、藻类以及各种有机物,在这些杂质的吸收和散射效应共同破坏下,水下光学成像装置的作用距离往往难以超过6-7个光学厚度。因此,如何突破散射现象的限制,实现远距离光学成像,是目前光学成像领域的一个重要的前沿问题。近年来,研究者在克服散射影响的成像恢复方面作了大量的研究,主要包括波前整形[1-2]、自适应光学技术[3]、光学选通技术[4]、散斑相关技术等[5]。这些突破性的研究成果也成为了解决强散射环境下成像的重要途径。

      远距离光学成像受到的制约因素可以分为成像系统固有的和成像系统外在的限制。固有限制包括衍射极限、传感器像素大小和数量、透镜像差等。外在限制主要是由传播介质的非均匀性引起,以大气为例:湍流大气造成光束缓慢整体偏转,自适应光学是最佳的应对方案;混浊大气无规则快速运动造成光场完全混乱从而影响光学成像,目前尚无普适的解决方案[6]。同时,相机性能和计算能力也是制约远距离光学成像的因素。当相机量子效率越高、满阱越大、暗噪声越小、传感器速度越快,可以捕获到对比度和相关性更高的动态散斑。此外,在低能见度环境下,多帧图像融合相较于单帧图像采集,具备提高图像动态范围,优化去雾效果的能力。在人类视觉系统的辅助下,多视融合和双目观察的方法可能为远距离成像提供新的技术路线。

      散射环境包括多种场景,例如浑浊水体、雾霾、烟雾、生物组织等。文中立足于强散射背景下的图像感知、融合与可视化链路,着重介绍了针对低能见度大气等常见大尺度散射场景中的成像问题与相关技术。

    • 当光透过散射介质时,根据受到的散射程度不同,光子在散射介质中的传播可以分为弹道光子、蛇形光子和散射光子。其中,弹道光子几乎没有受到散射的作用,传播方向与入射光相同,传播路程最短,出射后保留了入射光子的大部分特征,而散射光子受到多重散射,传播路程较长,出射方向严重偏离了原来的入射状态,丢失了大部分入射光的初始特征,蛇形光子则介于两者之间。当散射较弱时,弹道光子和蛇形光子占据了图像传感器接收信号的主要成分,其表现为系统点扩散函数(PSF)的展宽。随着成像距离的增加,散射效应越来越强,当散射光子占据主导时,图像信息将难以解译,这就大大限制了光电系统的有效作用距离。

      1976年,McCartney[7]基于计算机视觉与计算机图像理论提出了一种粗糙地描述大气散射的唯像模型,并由Narasimhan与Nayar等人[8-10]逐渐完善。该模型表示为:

      $$ I(x,y) = t(x,y)O(x,y) + (1 - t(x,y))A $$ (1)

      式中:I为像面所收集到的退化图像的强度分布;(x,y)为二维平面坐标;t为大气透射率;O为受到散射之前的强度分布;A为大气干扰光项,即成像过程中光源照亮散射介质,被探测器所收集到的光。这样一种模型中目标被近似为了一种自发光的目标,而非被照亮的后反射。

      然而在大气环境中,目标通常被环境光照亮,比如阳光。这意味着成像过程中被探测器所收集到的光由两部分组成,一部分是目标物体的反射,一部分是大气散射颗粒本身的反射和散射,图1(a)的光学模型很好地描述了这种成像过程。

      图  1  (a) 大气成像模型示意图;(b) 有雾场景对对比度的影响

      Figure 1.  (a) Schematic diagram of atmospheric optical imaging model; (b) Effect of foggy scenes on contrast

      将气溶胶视为均匀的介质[11],光学模型可以表示为:

      $$ I(x,y) = {L_\infty }\rho (x,y){{\rm e}^{ - \beta d(x,y)}} + {L_\infty }(1 - {{\rm e}^{ - \beta d(x,y)}}) $$ (2)

      式中:等号右边第一项为直接衰减项;第二项为大气干扰光项。L为照明光,通常将其视为常数,即与位置(x,y)无关;ρ为场景中目标的反射率;β为大气衰减系数;d为目标与观测者之间的距离,可以发现e−βd(x,y)就是大气透射率t

      判断目标是否可见,需要将人的主观判断转换为依赖判据的客观判断。对比度就是一种衡量感知清晰程度的重要手段,它表征的是目标物体与图像中其余物体,也就是背景之间的相对强度差异。差异越大,对比越强,目标就越清晰。因此,人眼无法识别用白色颜料在白纸上写的字;墨水滴入墨水瓶中就再也找不到。如图1(b)所示,大气的散射会导致对比度的直接下降。根据大气光学成像模型[12],在大气散射条件下,光学图像的对比度随着光学厚度βd的增加成指数下降的趋势。令清晰无雾场景下目标的固有对比度C0为:

      $$ {C_0} = \frac{{{I_{obj}} - {I_{bg}}}}{{{I_{bg}}}} $$ (3)

      使用公式(1)中大气散射模型,在基线长度L、透射率为t的大气下,可以得到散射后目标强度Iobj,sca与散射后背景强度Ibg,sca

      $$ {I_{obj,sca}} = t \times {I_{obj}} + (1 - t)A $$ (4)
      $$ {I_{bg,sca}} = t \times {I_{bg}} + (1 - t)A $$ (5)

      此时,接收端目标在背景中的对比度CL为:

      $$ {C_L} = \frac{{{I_{obj,sca}} - {I_{bg,sca}}}}{{{I_{bg,sca}}}} = \frac{{t({I_{obj}} - {I_{bg}})}}{{t \times {I_{bg}} + (1 - t)A}} $$ (6)

      由公式(6)可以看出,透射率的降低或大气干扰光的增强,都会导致接收端目标对比度的降低。这也就意味着背景干扰与目标信号之间的差异因散射而弱化,所以探测器的信号分辨能力对强散射背景下的有效信息提取至关重要。

      探测器对信号的分辨能力主要由动态范围与模数转换的位深共同决定。将一个像素视为盛水的桶,完全没有光子输入时会呈现黑电平状态,而像素中光电效应产生的电子如果存储太满就会溢出。当收集的电子刚好占满像素,新入射的光子就不能被分辨,此时,像素的电平达到最大值,这个电平也被称为白电平。这个最大电子数的限制也被称作满阱。在每次探测时电路中的各种噪音与残余电荷等各种因素都会使得输出的数值与真实情况有所偏差,这样的偏差就是读出噪音。动态范围描述了探测器在一次探测时最大和最小可测量光强度之间的比率,即对应着满阱电子数与读出噪音之比。

      通常,位深比其动态范围更为充裕。所以,对于接收端的目标像素块与背景像素块,只有当其对比度大于动态范围所限制的最小精度时,目标才有可能从背景中被识别出来。

      这也意味着在大气散射条件下,探测器从背景中分辨目标需要有以下关系:

      $$ {C_L} = \frac{{{I_{obj,sca}} - {I_{bg,sca}}}}{{{I_{bg,sca}}}} \geqslant \frac{1}{{DR}} $$ (7)

      式中:DR为探测器动态范围,如果不满足上式,那么微弱的强度差异就会受动态范围所限制,而不能够给出有效的输出数值差异。上式取等时即为对动态范围充分利用,有可能实现去雾成像的极限条件。

      根据对比度随光学厚度衰减的规律,有:

      $$ {C_L} = {C_0}{{\rm e}^{ - \beta d}} \geqslant \frac{1}{{DR}} $$ (8)

      由此可得对动态范围为DR的探测器,可能实现成像的极限光学厚度为:

      $$ {(\beta d)_{\max }} = \ln (DR) + \ln ({C_0}) $$ (9)

      利用中国气象局物资管理处的能见度实验室,建立了20 m的人造雾气环境对以上关系进行验证。采用表1所示三种不同动态范围的相机进行实验,能见度测量精度1 m,雾舱结构示意图与内部实景如图2所示。雾气稳定时,分别使用三个相机拍摄不同能见度下的目标图像,并明确其能成功透雾成像的极限能见度。图像拍摄后,均使用直方图均衡化算法进行处理,以极限对比度为恢复能力判据,获得了各相机数据可以实现成像的极限能见度,见表1

      表 1  实验相机参数

      Table 1.  Camera parameters for the experiment

      Camera modelHamamatsu C11440-22 CUFLIR Blackfly S
      BFS-U3-51 S5
      Basler acA2040-90 uc
      Sensor typesCMOSCMOSCMOS
      Sensor modelN/ASony IMX250CMOSIS CMV4000
      Full well capacity/e300001033011900
      Readout noise/e0.82.313.8
      Dynamic range37500∶14491∶1862:1
      Pixel bit depth/bits1610, 1216
      The lowest visibility of imaging can be achieved/m71012

      图  2  能见度实验室20 m基线雾舱

      Figure 2.  Visibility lab 20 m baseline fog cabin

      成像极限能力效果如图3(a)~(f)所示。实验中FLIR相机与Basler相机的实际利用动态范围都小于标称值。这是由于两款相机的曝光控制较差,难以调整合适曝光量使得其逼近满阱而不过曝。而Hamamatsu相机曝光控制精度高,实际可用动态范围更容易贴近标称值。如图3(g)所示,实验结果与理论模拟吻合良好,其实现的极限动态范围-能见度透雾成像关系与理论值基本一致。动态范围越大,其恢复质量越好,能实现透雾成像的极限能见度越低。

      图  3  (a),(b) Hamamatsu C11440-22 CU在7 m能见度下的原图与恢复结果;(c),(d) FLIR Blackfly S BFS-U3-51 S5在10 m能见度下原图与恢复结果;(e),(f) Basler acA2040-90 uc在12 m能见度下原图与恢复结果;(g) 介质光学厚度与动态范围的关系,红线为公式 (9)计算的理论关系,黑点为雾舱实验结果

      Figure 3.  (a), (b) Hamamatsu C11440-22 CU original image and recovery results at 7 m visibility; (c), (d) FLIR Blackfly S BFS-U3-51 S5 original image and recovery results at 10 m visibility; (e), (f) Basler acA2040-90 uc original image and recovery results at 12 m visibility; (g) Relationship between optical thickness of the medium and dynamic range. The red line is the theoretical relationship calculated by Equation (9), and the black point is the experimental results in fog cabin

    • 为了突破相机的成像极限,一般依循两种思路展开研究:一是利用成像光场的多参量信息,采用光学手段滤除散射干扰光的影响,提高探测器接受到目标光信号的信噪比;二是尝试从散射光中提取信息,对散射光形成的散斑进行解译,将噪音信号转化为信息信号,实现最终成像的信噪比提升。

      偏振光成像通过利用目标信号光和大气散射干扰光的偏振差异性,实现两者的分离,并滤除大部分干扰光的影响,从而实现成像信噪比提升,在低照度、低能见度环境下具备复杂目标的探测和识别能力[13]。光在透过气溶胶或浑浊水体时,会被介质中的杂质粒子反射和散射,这在一定程度上会导致获取图像的模糊、对比度降低和信息退化。一般情况下,后向散射光和反射光具有不同的部分偏振性。反射光的偏振度由物体表面的光学特性决定,而散射光的偏振度则与粒子的大小和碰撞特性有关。其中,反射光与散射光之间的偏振信息存在差异,偏振技术可以改变接收到的反射光和散射光的相对比例,从而降低噪声,提高图像的对比度[14]

      对于不同波长的光波,大气衰减系数βλ、大气能见度Vλ随波长的关系如下[15]

      $$ {\beta _\lambda } = - \frac{{\ln 0.05}}{{{V_\lambda }}}{\left(\frac{{550\;{\rm{nm}}}}{\lambda }\right)^q} $$ (10)

      式中:0.05为人眼分辨能力对应的对比度阈值;q是散射粒子尺寸分布的相关系数(q≥0)。可见,当光波的波长越长,其衰减系数越小,即图像对比度随距离衰减越慢,成像装置有效作用距离越长。例如在1064 nm波长,能见度可以是可见光波段的三倍。因此,红外成像是目前进行透雾成像的主要技术手段[16]

      对散射光传输特性及其与光学成像系统的耦合进行理论研究,可以从光学系统设计上为成像信噪比的进一步提高提供解决方案。然而,由于大气散射介质的复杂性,从解析上求解辐射传输方程显然难度较大,因此目前主要使用蒙特卡洛法对散射介质中的光子传输进行仿真。Ben Dor等[17]在1997年利用半解析蒙特卡洛法对散射光和光学系统的耦合问题进行了研究,该模型分析了成像链路的光学厚度、成像焦距如何影响探测器测得的点扩散函数。如图4所示,其研究结果表明,增大光学系统成像焦距可以有效降低散射光对成像过程的影响。

      图  4  成像系统的模拟归一化点扩散函数(像元尺寸为15 μm,探测器元件的数量为512,光学直径为4 cm),在可见光波长(550 nm)下工作,用于三种焦距:1、10、100 cm。使用的气溶胶模型是(a) 对流层气溶胶(能见度为50 km): τ=0.078和ωt0=0.97;(b) 农村气溶胶(能见度为5 km);τ=0.78和ωt0=0.96;(c) 辐射雾(能见度为0.5 km);τ=7.8和ωt0=1.0 (τ为大气光学厚度,ωt0是消光系数和散射系数的比)[17]

      Figure 4.  Simulated normalized PSF of imaging systems (sensor size is 15 μm, the number of pixels is 512, and the optics diameter is 4 cm) operating in the visible wavelength (550 nm) for three focal lengths: 1, 10, and 100 cm. The aerosol models used are (a) tropospheric aerosol (visibility of 50 km): τ=0.078 and ωt0=0.97; (b) rural aerosol (visibility of 5 km); τ=0.78 and ωt0=0.96; and (c) radiation fog (visibility of 0.5 km); τ=7.8 and ωt0=1.0 (τ is the atmospheric optical depth, and ωt0 is the ratio of the extinction coefficient to the scattering coefficient)[17]

      进一步可以分析浓雾条件下目标图像对比度的退化过程。模拟中发现,随着物体尺寸的增加,物体自身信号退化所形成的散射光会产生足以掩盖未退化信号的背景噪音,这一效应被称之为“光学自掩盖效应”[18]。假设有一个目标“H”放置在圆形发光区域的中心,只需改变目标在发光区的占比即可使构成不同的扩展物体。一方面,随着光照区域的扩大,由于每个发光源产生的散射信号增加,背景变得更加强烈。另一方面,成像“H”利用的是弹道光子,并且其信号强度保持恒定,故随着照明面积的增加,图像对比度降低,最终低于成像系统检测阈值,图像“H”不再可见,同时“H”也无法用任何图像处理算法恢复。图5(e)~(h)显示了在4 m能见度的浓雾下20 m成像距离的仿真结果。结果表明,在自发光范围小时,目标在发光范围内的占比较大,目标“H”的轮廓可以清楚地与圆形背景区域区分开来。图5(f)~(h)中可以发现,随着照明区域的扩展,目标在发光范围内的占比逐渐变小,目标“H”逐渐淹没在背景中。总结来说,来自目标的光通过低能见度的大气后成为一个掩盖信号,干扰目标本身的识别,产生光学自掩盖效应。

      图  5  4 m能见度下的仿真结果[18]

      Figure 5.  Simulation results at 4 m visibility[18]

      通过水下(图6)和雾舱(图7)验证实验可见,当散射介质的光学厚度逐渐增大时,目标中的高频细节特征会首先消失,而轮廓特征最后消失,这意味着单一的全视场对比度衰减无法作为一个好的衡量介质浑浊程度的参量。随着能见度的降低,目标的可识别性会降低,直到它的纹理结构全部消失导致其无法被识别。实验和仿真均可以说明,来自被照亮物体的散射光会聚合成强烈的背景,因此无法观察到封闭的结构。如图7(c)、(e)所示,随着能见度的降低,目标完全被散射背景覆盖。在极低的能见度下,光学自掩盖效应是导致目标无法识别的主要因素,来自照明的散射光分量和目标本身的弹道光分量重叠,导致目标对比度降低。通过实验观察,笔者可以解释为,封闭的结构内部比其边界更有可能被浓雾淹没。这是由于光学成像主要依赖雾中的弹道光子,因此散射光子产生的背景会降低光学图像的对比度。这种光学自掩盖效应在观察大气中不完全光学成像中起着不容忽视的作用,同时,它的产生机制可以作为强散射介质下光学成像重建的指导。

      图  6  水下成像结果,水体消光系数为0.97 m−1。(a) 6.7 m的拍摄图像;(b) 8 m的拍摄图像

      Figure 6.  Underwater imaging results, extinction coefficient is 0.97 m−1.(a) Imaging result at a distance of 6.7 m; (b) Imaging result at a distance of 8 m

      图  7  (a) 目标的清晰图像;(b),(c) 在8 m和7 m能见度下的模拟成像结果;(d),(e) 在9 m和8 m能见度下20 m的实验成像结果[18]

      Figure 7.  (a) Clear image of the target; (b), (c) Simulation imaging results at 8 and 7 m visibility, corresponding; (d), (e) Experimental results at 20 m at 9 and 8 m visibility, corresponding[18]

      如第一部分所述在被动照明条件下,光学上的信噪比对透过散射介质成像存在物理极限,为了突破此极限,收集散射光并对散射光信号进行解译[19-20],将原本的背景噪音转换为信号,是实现信噪比提升的另一种思路。众多实验表明:散斑相关的方法能够较好地利用散射光子实现透过散射介质成像,近年来受到越来越多的关注。

      散斑相关成像技术基于光通过散射介质后散斑分布的一阶相关性,利用散斑相关成像方法包括浴帘效应、记忆效应等,在非侵入式、三维、实时成像等方面有很大进展。光学记忆效应是指在一定的入射角范围内,若入射光场转动一个小角度,其出射光场将相应转动,经过散射介质所形成的散斑形态不发生变化,散斑图案仿佛是存在于介质中的记忆。2014年,Katz等[5]直接采用空间非相干光照射物体,提出了单帧散斑自相关的成像方法,实现单张散斑图案对物体图像的恢复。在记忆效应范围内,尽管入射光的角度发生变化,散斑图案基本保持不变,仅仅发生相应的横向位移,不同角度入射光投射到同一像面的散斑图案之间存在很大的相关性。因此,在记忆效应范围内,散射系统可认为是线性平移不变系统,成像过程可以用一个点扩散函数来描述。散射介质所在的光学系统拥有一个或数个点扩展函数。该点扩展函数相当于是空间弥散的散斑分布。点扩散函数在记忆效应范围仍然满足线性平移不变性,因此,当采用非相干光照明时,成像的强度分布(散斑)可以表示为物函数和系统(强度)点扩展函数的卷积[21]

      2016年,Zhuang等人[22]完成了透过标准散射介质采集点扩散函数的成像实验。实验结果表明,可利用在散射成像恢复的记忆效应范围约为±75 mrad。这意味着,视场范围在20 m基线下能够对直径3 m的物体进行成像,这样的成像视场对于实际应用非常可观。2018年,Xu等人基于参考物的非侵入式散射成像思路,实现了不同深度平面的恢复成像[23]

      目前在实际水体和大气环境中,由于照明光场的非相干性,以及散射介质的高速时变特性,导致高相关性散斑几乎不可能出现,散射光信号难以解译。因此,在大气和水体中透过散射介质实现成像主要途径还是依赖弹道光成像。

    • 图像叠加是实现图像信噪比提升的一种简单直接的方法。多帧图像叠加[24]可以延长等效曝光时间以收集更多的光子,从而获取更多的有效信息,由此可显著提升成像系统的透雾能力。同时,帧累积通过抑制噪声方差对图像去噪,最终提高灰度分辨率和信噪比(SNR)。多帧图像叠加的前提是一组匹配的图像,但是,帧累积是在相对静止的平台上进行,对于实际应用场景,相机和物体通常无法保持相对静止,故通常需要进行多视图像的融合。首先,多视图像的匹配往往依赖于基于灰度的匹配算法和基于特征点的匹配算法,但是,在类似于浓雾的低能见度条件下无法很好应用。运动时获取的图像信息由于图像失配,帧累积不能直接运用,雾中校准相机位置和稳定指向方向也是同时存在的挑战。

      因此,有研究提出了一种融合和积累浓雾中不可见目标的多视点模糊图像新技术[25],其中能见度范围内的近距离物体可见,而能见度以外的远处目标则不可见。在这种情况下,像素携带相机的位置和指向信息,可以在近距离物体的多视图可见图像的帮助下进行校准。通过使这样的位置和指向参数,计算外参数矩阵并将其应用于可见范围之外的不可见目标的图像融合,其中采用了如图8的多视投影几何模型。实验表明,多视点成像利用非共面物体作为先验信息,可以实现运动平台上相机位姿的精确提取,对远处不可见物体的图像进行融合,以提高图像的灰度分辨率和信噪比。实验验证了进行多视点图像融合的去雾能力,而且随着更多视点图像的融合,可以实现更好的去雾效果。如图9所示,与单图去雾结果(图9(a))对比,图9(b)~(d)中保留了更详细的信息和边缘,意味着多视图图像融合的合成图像增强了图像对比度,有效地抑制噪音。此技术被证明可以实现多视光学图像融合和恢复浓雾中的远距离目标,克服了相机移动时图像不匹配的问题。通过使用非平面对象作为先验信息的平台,这种技术对恶劣天气下的目标图像获取有重要作用。如上所述,在低能见度条件下,图像对比度降低,无法实现图像特征点的识别,只能通过相机的特性和位姿参数测量进行图像配准,然而目前的位姿测量技术在精度和数据输出率上仍难以有效满足像素级图像配准的要求。采用不同类型的探头可以获取复杂动态环境中可见光、热量等信息,但异质图像的特征点无法准确识别,增大图像融合难度,也存在动态范围有限的问题。因此,亟需发展新的图像融合理论,以降低融合过程中对图像配准精度的要求。

      图  8  多视投影几何关系示意图[25]

      Figure 8.  Schematic diagram of multi-view projection geometry[25]

      图  9  融合实验结果。(a) 单视点去雾;(b) 四个视点融合去雾;(c) 七个视点融合去雾;(d) 10个视点融合去雾;(e) 融合数量与结构相似度(SSIM)的关系[25]

      Figure 9.  Fusion experimental results. (a) Single viewpoint defogging; (b) 4 viewpoints fusion defogging; (c) 7 viewpoints fusion defogging; (d) 10 viewpoints fusion defogging; (e) The relationship between the number of fused viewpoint and corresponding structural similarity (SSIM)[25]

    • 双目视觉具有反应灵敏、感知准确、与人类视觉感知高度协同、功能强大的特点,双目立体视觉可以为多源信息融合提供一种更高维度的融合空间。一般来说,信息传输所受的干扰通常跟在复杂环境中的传输距离有关系,越靠近信息采集者的事物,受到的干扰越少。立体视觉系统的主要功能是构建与复现世界的三维场景。根据Marr的理论[26],视觉是从图像中感知目标特性和实现目标定位的过程。因为空间的三维性,所以人类视觉的感知必须有三个维度。但外部环境图像信息是以二维的形式投影到双眼的视网膜上,纵深信息作为第三维在投影过程中丢失。人类视觉系统通过对双目视差图像的分析实现从二维图像转换为对环境的三维表征。

      这样一种通过纵深信息恢复实现对三维世界进行重构的机制称为立体视觉(Stereopsis)。深度信息的来源可以分为四类[27]

      (1) 视觉信息(Ocular information):眼睛调节(Accommodation)与辐辏(Convergence)。

      (2) 立体信息(Stereoscopic information):双眼视差。

      (3) 动态信息(Dynamic information):动态视差(Motion parallax)。

      (4) 图像信息(Pictorial information):遮挡、相对大小。

      对于一般的光电传感器,通常只能获得平面强度信息,场景的深度信息往往只能通过遮挡效应等单目线索间接获得,存在较大误差,无法为事物的跟踪和分辨提供有效的辅助作用。双目立体视觉能够从不同角度获得同一区域的信息,大幅度提高对图像深度信息估计的准确度,对复杂动态场景成像识别和跟踪提供更有效的辅助。光学成像一般是在平面模式下记录并展示,但成像最终效果取决于再现与展示方式,是由视觉神经感知决定。在生物感知的过程之中,物理恒定的刺激也会导致感知波动,存在着机器视觉所难以达到的捕获的双目竞争、对比度掩蔽、运动致盲和闪光抑制等多稳态优势感知模式。抽象来说,双眼并不是简单地感知两种刺激的稳定的单一叠加态,实际上是随着时间的推移,随着两种刺激争夺感知优势,感知意识发生变化。

      近期项目团队的初步研究结果发现,对于多视角所采集得到的事物,如果能够使用三维显示技术或虚拟现实(VR)直接观看,能够为观察者提供更宽广的视野、更高的图像亮度和反衬度,能够部分绕过遮挡物体[28-30]。传统的望远侦察与监控系统,采用手持望远镜,放大倍率有限,而高放大倍率的望远装置,需要克服抖动与链路干扰,尤其是复杂环境中的雾霾、湍流、尘土等,对光学成像造成极大的影响。更新的研究结果发现,通过双目视觉的合成在一定程度上能够减少因为相机抖动而引起的不稳定,甚至可以有效地克服湍流的影响,获得更好的图像质量[31]

      机器视觉以人类视觉为目标,试图使机器获得人类智能的能力。采用摄影机和电脑代替人眼与人脑对目标进行识别、跟踪和测量,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。在进行物体探测与目标识别任务时,虽然主动3D扫描仪利用如激光雷达[32]和结构光[33]等技术可以用于直接深度采集和非视域成像探测[31],但从立体相机的画面中分析双视图的视场,从而计算感知深度是一个更经济有效的解决方案。然而,对于深度识别的计算机视觉研究,在低能见度、遮挡干扰、无纹理物体的情况下,很难抉择准确的双视图差异。目前,双目视觉去雾算法将立体匹配定义为一种有监督的学习任务,反复结合去雾算法进行优化,而这需要利用大量的训练数据和更高效的计算硬件。此外,受计算机数据库内容的限制,对于陌生环境和新发现的物体,计算机视觉无法做到精准识别,整体工作效率暂时不能达到人眼识别的同样效果。在笔者的初步研究中发现,在成像-显示-感知链路中,人类视觉的介入能实现细微深度差的有效分辨。在强散射背景下,机器视觉功能极易丧失,但人类视觉的分辨能力却反映出了极高的鲁棒性。在笔者的初步研究中,人类立体视觉显示出了图像自动融合、分辨率提高等优点,展现出了人类视觉研究在全链路优化中的不可替代性。发展基于人类视觉的成像-显示新技术是充分利用并融合机器视觉技术与人类感知能力的新前沿。

      但是,人们发现立体图像的感知十分复杂,其感知质量与双眼图像相关[34]。应对不同的图像降质情况,人眼视觉系统有完全不同的响应特性,这使得对立体图像的衍生技术能力评价变得困难。如何定量衡量立体视觉对图像信息的的感知和融合的增强幅度也需要进行更深入的探索。相关的研究应建立在光学领域的基础上,结合视觉医学、神经反应表征等,实现跨学科的交叉融合突破、成像-显示技术的全链路优化。

    • 文中主要对透过散射介质实现光学成像的主要技术难点和可能实现的方法进行了分析和综述。作为图像信息的最终使用者,人类视觉系统在低能见度条件下的图像信息获取中的作用却被长期忽视。散射介质中的光传输、收集、探测、处理与人机交互再现是一个相互耦合的过程,需要作为一个整体进行全链路优化。目前,相关研究才刚刚起步,立体视觉形成的关键因素、视觉效果评价指标、再现与采集间的相互优化等问题都存在大量的研究空白,需要进行深入的研究。

参考文献 (34)

目录

    /

    返回文章
    返回