留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

合并分割块的点云语义分割方法

苏云征 郝群 曹杰 闫雷 武帅

苏云征, 郝群, 曹杰, 闫雷, 武帅. 合并分割块的点云语义分割方法[J]. 红外与激光工程, 2021, 50(10): 20200482. doi: 10.3788/IRLA20200482
引用本文: 苏云征, 郝群, 曹杰, 闫雷, 武帅. 合并分割块的点云语义分割方法[J]. 红外与激光工程, 2021, 50(10): 20200482. doi: 10.3788/IRLA20200482
Su Yunzheng, Hao Qun, Cao Jie, Yan Lei, Wu Shuai. Point cloud semantic segmentation method based on segmented blocks merging[J]. Infrared and Laser Engineering, 2021, 50(10): 20200482. doi: 10.3788/IRLA20200482
Citation: Su Yunzheng, Hao Qun, Cao Jie, Yan Lei, Wu Shuai. Point cloud semantic segmentation method based on segmented blocks merging[J]. Infrared and Laser Engineering, 2021, 50(10): 20200482. doi: 10.3788/IRLA20200482

合并分割块的点云语义分割方法

doi: 10.3788/IRLA20200482
基金项目: 基础加强领域基金(2019-JCJQ-JJ-273)
详细信息
    作者简介:

    苏云征,男,硕士生,主要从事激光点云数据处理方面的研究工作

    郝群,女,教授,博士生导师,博士,主要从事光电感测、精密光电测试等方面的研究工作

  • 中图分类号: P237

Point cloud semantic segmentation method based on segmented blocks merging

  • 摘要: 随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。
  • 图  1  数据1语义分割过程

    Figure  1.  Data 1 semantic segmentation process

    图  2  数据2、数据3、数据4、数据5、数据6使用合并策略前后语义分割对比

    Figure  2.  Comparison of semantic segmentation of data 2, data 3, data 4 data 5 and data 6 before and after using the merge strategy

    图  3  DBSCAN局部分割

    Figure  3.  DBSCAN partial segmentation

    图  4  特征分布

    Figure  4.  Features distribution

    图  5  数据1、数据2、数据3、数据4、数据5、数据6使用合并策略前后语义分割对比

    Figure  5.  Comparison of semantic segmentation of data 1, data 2, data 3, data 4, data 5 and data 6 before and after using the merge strategy

    图  6  KNN 插值优化前后对比

    Figure  6.  Comparison before and after KNN interpolation optimization

    表  1  六组数据的尺寸

    Table  1.   6 sets of data size

    ItemRegion1/mRegion2/mRegion3/m
    X102.14449.87363.899
    Y25.47733.69940.929
    Z29.52818.74234.141
    ItemRegion4/mRegion5/mRegion6/m
    X124.01342.34791.563
    Y25.06822.04232.315
    Z17.06514.11833.042
    下载: 导出CSV

    表  2  混淆矩阵

    Table  2.   Confusion matrix

    ItemGround truth
    PositiveNegative
    PredictionPositiveTPFP
    NegativeFNTN
    下载: 导出CSV

    表  4  行道树精度、召回率

    Table  4.   Trees accuracy and recall

    MethodRegion1Region2Region3
    AccRecallAccRecallAccRecall
    Original62.0%12.7%87.9%76.2%100%45.4%
    Proposed99.6%99.9%99.8%100%100%99.7%
    MethodRegion4Region5Region6
    AccRecallAccRecallAccRecall
    Original99.4%96.2%100%98.8%99.7%95.1%
    Proposed99.4%100%100%100%99.7%100%
    下载: 导出CSV

    表  3  杆状物精度、召回率

    Table  3.   Poles accuracy and recall

    MethodRegion1Region2Region3
    AccRecallAccRecallAccRecall
    Original 6.9% 89.1% 5.4% 81.0% - -
    Proposed 49.7% 95.2% 100% 87.1% - -
    Method Region4 Region5 Region6
    Acc Recall Acc Recall Acc Recall
    Original 5.8% 27.8% 61.0% 100% 21.2% 80.3%
    Proposed 100% 27.8% 100% 100% 100% 80.3%
    下载: 导出CSV

    表  5  杆状物精度、召回率

    Table  5.   Poles accuracy and recall

    MethodRegion1Region2Region3
    AccRecallAccRecallAccRecall
    Original 42.9% 95.2% 20.4% 87.1% - -
    Proposed 49.4% 95.2% 100% 87.1% - -
    Method Region4 Region5 Region6
    Acc Recall Acc Recall Acc Recall
    Original 24.9% 27.8% 61% 100% 33.2% 80.3%
    Proposed 100% 27.8% 100% 100% 100% 94.4%
    下载: 导出CSV

    表  6  行道树精度、召回率

    Table  6.   Trees accuracy and recall

    MethodRegion1Region2Region3
    AccRecallAccRecallAccRecall
    Original 99.6% 97.7% 99.8% 95.4% 100% 99.3%
    Proposed 99.6% 99.9% 99.8% 100% 100% 99.7%
    Method Region4 Region5 Region6
    Acc Recall Acc Recall Acc Recall
    Original 99.4% 99.3% 100% 98.8% 99.7% 96.9%
    Proposed 99.4% 100% 100% 100% 99.9% 100%
    下载: 导出CSV
  • [1] Du Ruijian, Ge Baozhen, Chen Lei. Texture mapping of multi-view high-resolution images and binocular 3D point clouds [J]. Chinese Optics, 2020, 13(5): 1055-1064. (in Chinese) doi:  10.37188/CO.2020-0034
    [2] Wei Yu, Jiang Shilei, Sun Guobin, et al. Design of solid-state array laser radar receiving optical system [J]. Chinese Optics, 2020, 13(3): 517-526. (in Chinese) doi:  10.3788/CO.2019-0166
    [3] Li Yong, Tong Guofeng, Yang Jingchao, et al. 3D point cloud scene data acquisition and its key technology for scene understanding [J]. Laser & Optoelectronics Progress, 2019, 56(4): 13-26. (in Chinese) doi:  10.3788/LOP56.040002
    [4] Zhang Xitong, Li Yongqiang, Mao Jie, et al. Segmentation of connected street trees from mobile LiDAR data [J]. Science of Surveying and Mapping, 2016, 41(8): 111-115. (in Chinese) doi:  10.16251/j.cnki.1009-2307.2016.08.023
    [5] Feng Yicong, Cen Minyi, Zhang Tonggang. Knowledge-based automatic objects classification from mobile LiDAR data [J]. Computer Engineering and Applications, 2016, 52(5): 122-126. (in Chinese) doi:  10.3778/j.issn.1002-8331.1403-0361
    [6] Xie Yuxing, Tian Jiaojiao, Zhu Xiaoxiang. Linking points with labels in 3D: A review of point cloud semantic segmentation [J]. IEEE Geoence and Remote Sensing Magazine, 2020, 8(4): 38-59. doi:  10.1109/MGRS.2019.2937630
    [7] Weinmann M, Jutzi B, Hinz S, et al. Semantic point cloud interpretation based on optimal neighborhoods, relevant features and efficient classifiers [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 105: 286-304. doi:  10.1016/j.isprsjprs.2015.01.016
    [8] Li Haiting, Wang Houzhi, Li Yanhong, et al. Object recognition for vehicle-borne LiDAR point clouds based on SVM [J]. Science of Surveying and Mapping, 2016, 41(5): 45-49. (in Chinese) doi:  10.16251/j.cnki.1009-2307.2016.05.010
    [9] Liu Zhiqing, Li Pengcheng, Guo Haitao, et al. Airborn LiDAR point cloud data classification based on relevance vector machine [J]. Infrared and Laser Engineering, 2016, 45(S1): S130006. (in Chinese) doi:  10.3788/IRLA201645.S130006
    [10] Tong Guofeng, Du Xiance, Li Yong. et al. Three-dinmensional point cloud classification of large outdoor scenes based on vertical slice sampling and centroid distance histogram [J]. Chinese Journal of Lasers, 2018, 45(10): 1004001. (in Chinese) doi:  10.3788/CJL201845.1004001
    [11] Xiang B, Yao J, Lu X, et al. Segmentation-based classification for 3D point clouds in the road environment [J]. International Journal of Remote Sensing, 2018, 39(19): 6182-6212. doi:  10.1080/01431161.2018.1455235
    [12] Tang Yong, Xiang Zheng, Jiang Tengping, et al. Semantic classification of pole-like traffic facilities in complex road scenes based on LiDAR point cloud [J]. Tropical Geography, 2020, 40(5): 893-902. (in Chinese) doi:  10.13284/j.cnki.rddl.003263
    [13] Li Pengpeng, Li Yongqiang, Zhao Shangbin, et al. Automatic classification of pole-like objects in road scene by back propagation neural network [J]. Bulletin of Surveying and Mapping, 2020(4): 101-105, 120. (in Chinese)
    [14] Zhang Zhongyu, Liu Yunpeng, Wang Sikui, et al. Vehicle target recognition algorithm for UAV image based on DRFP [J]. Infrared and Laser Engineering, 2019, 48(S2): S226001. (in Chinese) doi:  10.3788/IRLA201948.S226001
    [15] Liang Xinkai, Song Chuang, Zhao Jiajia. Depth estimation technique of sequence image based on deep learning [J]. Infrared and Laser Engineering, 2019, 48(S2): S226002. (in Chinese) doi:  10.3788/IRLA201948.S226002
    [16] Yang Qili, Zhou Binghong, Zheng Wei, et al. Trajectory detection of small targets based on convolutional long short-term memory with attention mechanisms [J]. Optics and Precision Engineering, 2020, 28(11): 2535-2548. (in Chinese) doi:  10.37188/OPE.20202811.2535
    [17] Milioto A, Vizzo I, Behley J, et al. RangeNet++: Fast and accurate LiDAR semantic segmentation[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 4213-4220.
    [18] Graham B, Engelcke M, Van Der Maaten L. 3D semantic segmentation with submanifold sparse convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 9224-9232.
    [19] Meng H Y, Gao L, Lai Y K, et al. Vv-net: Voxel vae net with group convolutions for point cloud segmentation[C]//Proceedings of the IEEE International Conference on Computer Vision, 2019: 8500-8508.
    [20] Wang Yue, Sun Yongbin, Liu Ziwei, et al. Dynamic graph cnn for learning on point clouds [J]. ACM Transactions on Graphics, 2019, 38(5): 1-12. doi:  10.1145/3326362
    [21] Ma L, Li Y, Li J, et al. Multi-scale point-wise convolutional neural networks for 3D object segmentation from LiDAR point clouds in large-scale environments [J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 22(2): 821-836. doi:  10.1109/TITS.2019.2961060
    [22] Hu Q, Yang B, Xie L, et al. RandLA-Net: Efficient semantic segmentation of large-scale point clouds[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2020: 11105-11114.
    [23] Feng M, Zhang L, Lin X, et al. Point attention network for semantic segmentation of 3D point clouds [J]. Pattern Recognition, 2020, 107: 107446. doi:  10.1016/j.patcog.2020.107446
    [24] Yang Jun, Dang Jisheng. Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network [J]. Optics and Precision Engineering, 2020, 28(5): 1187-1199. (in Chinese) doi:  10.3788/OPE.20202805.1187
    [25] Landrieu L, Simonovsky M. Large-scale point cloud semantic segmentation with superpoint graphs[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4558-4567.
    [26] Ester M, Kriegel H P, Sander J, et al. Density-based spatial clustering of applications with noise[C]//Proceedings of 2nd International Conference on Knowledge Discovery and Data Mining, 1996, 240: 6.
  • [1] 孙旭旦, 吴清, 赵春艳, 张满囤.  语义增强引导特征重建的遮挡行人检测 . 红外与激光工程, 2022, 51(9): 20210924-1-20210924-10. doi: 10.3788/IRLA20210924
    [2] 靳辰飞, 田小芮, 唐勐, 王峰, 杨杰, 乔凯, 史晓洁, 张思琦.  非视域三维成像激光雷达的研究进展 . 红外与激光工程, 2022, 51(3): 20210471-1-20210471-16. doi: 10.3788/IRLA20210471
    [3] 赵毅强, 艾西丁·艾克白尔, 陈瑞, 周意遥, 张琦.  基于体素化图卷积网络的三维点云目标检测方法 . 红外与激光工程, 2021, 50(10): 20200500-1-20200500-9. doi: 10.3788/IRLA20200500
    [4] 朱祯悦, 吕淑静, 吕岳.  基于图匹配网络的小样本违禁物品分割算法 . 红外与激光工程, 2021, 50(11): 20210075-1-20210075-9. doi: 10.3788/IRLA20210075
    [5] 郭静菁, 费晓燕, 葛鹏, 周安然, 王磊, 李正琦, 盛磊.  基于全光纤光子计数激光雷达的高分辨率三维成像 . 红外与激光工程, 2021, 50(7): 20210162-1-20210162-10. doi: 10.3788/IRLA20210162
    [6] 朱琳琳, 韩璐, 杜泓, 范慧杰.  基于U-Net网络的多主动轮廓细胞分割方法研究 . 红外与激光工程, 2020, 49(S1): 20200121-20200121. doi: 10.3788/IRLA20200121
    [7] 张烜喆, 王彦, 王佳华, 侯再红, 杜少军.  光场相机在湍流下的清晰成像和点云计算 . 红外与激光工程, 2020, 49(11): 20200053-1-20200053-7. doi: 10.3788/IRLA20200053
    [8] 陈思颖, 王嘉奇, 陈和, 张寅超, 郭磐, 年璇, 孙卓然, 陈粟.  改进简单多尺度法的激光雷达云检测 . 红外与激光工程, 2020, 49(S2): 20200379-20200379. doi: 10.3788/IRLA20200379
    [9] 张楠, 孙剑峰, 姜鹏, 刘迪, 王鹏辉.  激光雷达场景三维姿态点法向量估计方法 . 红外与激光工程, 2020, 49(1): 0105004-0105004(8). doi: 10.3788/IRLA202049.0105004
    [10] 曹杰, 郝群, 张芳华, 徐辰宇, 程阳, 张佳利, 陶禹, 周栋, 张开宇.  APD三维成像激光雷达研究进展 . 红外与激光工程, 2020, 49(9): 20190549-1-20190549-10. doi: 10.3788/IRLA20190549
    [11] 龚道然, 李思宁, 姜鹏, 刘迪, 孙剑峰.  激光雷达三维距离像超分辨重构方法研究 . 红外与激光工程, 2020, 49(8): 20190511-1-20190511-7. doi: 10.3788/IRLA20190511
    [12] 李小路, 曾晶晶, 王皓, 徐立军.  三维扫描激光雷达系统设计及实时成像技术 . 红外与激光工程, 2019, 48(5): 503004-0503004(8). doi: 10.3788/IRLA201948.0503004
    [13] 李晶, 车英, 宋暖, 翟艳男, 陈大川, 李君.  三维激光雷达共光路液体透镜变焦光学系统设计 . 红外与激光工程, 2019, 48(4): 418002-0418002(9). doi: 10.3788/IRLA201948.0418002
    [14] 武军安, 郭锐, 刘荣忠, 刘磊, 柯尊贵.  末敏弹线阵激光雷达对地面装甲目标的提取方法 . 红外与激光工程, 2019, 48(3): 330002-0330002(8). doi: 10.3788/IRLA201948.0330002
    [15] 杜玉红, 王鹏, 史屹君, 王璐瑶, 赵地.  环境特征自适应激光雷达数据分割方法 . 红外与激光工程, 2018, 47(8): 830001-0830001(8). doi: 10.3788/IRLA201847.0830001
    [16] 张欣婷, 安志勇, 亢磊.  三维激光雷达发射/接收共光路光学系统设计 . 红外与激光工程, 2016, 45(6): 618004-0618004(5). doi: 10.3788/IRLA201645.0618004
    [17] 杨文秀, 付文兴, 周志伟, 余巍, 马杰.  基于投影降维的激光雷达快速目标识别 . 红外与激光工程, 2014, 43(S1): 1-7.
    [18] 李小珍, 吴玉峰, 郭亮, 曾晓东.  合成孔径激光雷达下视三维成像构型及算法 . 红外与激光工程, 2014, 43(10): 3276-3281.
    [19] 胡晓彤, 王建东.  基于子空间特征向量的三维点云相似性分析 . 红外与激光工程, 2014, 43(4): 1316-1321.
    [20] 陈骁, 石志广, 杨卫平, 凌建国.  利用三维点云的圆锥状弹头目标参数估计 . 红外与激光工程, 2014, 43(10): 3480-3485.
  • 加载中
图(6) / 表(6)
计量
  • 文章访问数:  193
  • HTML全文浏览量:  57
  • PDF下载量:  35
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-12-15
  • 修回日期:  2021-02-09
  • 刊出日期:  2021-10-20

合并分割块的点云语义分割方法

doi: 10.3788/IRLA20200482
    作者简介:

    苏云征,男,硕士生,主要从事激光点云数据处理方面的研究工作

    郝群,女,教授,博士生导师,博士,主要从事光电感测、精密光电测试等方面的研究工作

基金项目:  基础加强领域基金(2019-JCJQ-JJ-273)
  • 中图分类号: P237

摘要: 随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。

English Abstract

    • 随着立体匹配算法[1]和3D传感器[2]的发展,点云数据的重要性日愈凸显[3]。高质量的点云数据是连接虚拟世界和现实世界之间的桥梁。通过对点云数据的处理,可以更好的感知环境信息,其中语义更是可以丰富点云传达的信息。这对于计算机视觉、智能驾驶、遥感测绘、智慧城市等研究方向都有着重大意义。目前点云语义分割方法主要分为三大类:基于块特征的非监督学习的方法、基于传统机器学习的方法和基于深度学习的方法。基于块特征的非监督学习的方法通过对点云进行聚类分割[4-5],然后对分割块进行特征提取,进而建立不同地物的点云分类规则,以实现对每一个分割块类别的判断。该方法对分割块的要求较高。点云之间的密度不均衡,在分割阶段很容易造成过分割和欠分割,这一问题在城市环境中的行道树点云上具有更为明显的体现,由于树冠的遮挡等原因,行道树的树干与树冠的交界处点云密度较低,容易造成过分割等问题,从而影响最终的语义分割精度。基于传统机器学习的方法主要包括基于点特征的传统机器学习方法和基于分割块的传统机器学习方法[6]。基于点特征的传统机器学习方法[7-9]对每一个点在其邻域内提取高维特征,使用高维特征向量训练机器学习模型,从而对每一个点进行分类。由于对点计算高维特征所需计算资源大、计算时间长且丢弃了点与点之间的几何关系,因此,基于分割块的语义分割方法被提出。基于分割块的传统机器学习方法[10-13]通过对地物点进行聚类分割,提取其分割块的特征,构建高维特征向量,训练机器学习模型,最后利用模型对地物进行分类。深度学习自提出以来在图像领域取得巨大成功[14-16],近年来,在点云领域,基于深度学习的方法发展迅速,主要包括基于投影的深度神经网络[17]、基于体素的深度神经网络[18-19]、基于点的深度神经网络[20-24]和基于超点图的深度神经网络[25]等。基于深度学习的方法通过使用大量的训练数据对设计好的深层神经网络进行参数训练,通过对点云提取高层次的特征并对其进行分类,最终实现对点云数据逐点的语义分割。

      目前,基于传统机器学习的方法和基于深度学习的方法都需要大量的数据对模型进行训练且需要大量的计算资源,对于较少的点云数据很难去提取大量的样本集合,且城市道路环境中的行道树和杆状物存在样本数量不均衡的问题,这给基于深度学习的方法增加了难度。基于块特征的非监督学习的方法具有计算资源占用小、可解释性强等优势,但是该方法所需特征多、无法处理欠分割和过分割。城市道路环境中杆状物和行道树之间距离较近,容易欠分割;由于遮挡等原因,行道树树干和树冠接触处点云密度低,容易过分割。因此解决欠分割和过分割问题成为提高语义分割效果的关键。

      针对上述问题,文中提出一种基于分割块合并策略的点云语义分割方法,适用于城市道路环境下的行道树和杆状物的语义分割。该方法在点云聚类分割的基础上,依据分割块的重心分布设计合并策略,解决了过分割和欠分割导致的语义分割错误的问题。实验表明,对于行道树和杆状物,采用文中合并策略与原始基于分割块的方法相比,取得了更好的语义分割效果。

    • 相比于2D图像信息,三维点云可以提供丰富的几何、形状和尺度信息,且不易受光照强度变化等影响,而对点云附加语义信息可以更好地实现环境感知,有利于后续的基于三维点云数据的目标检测、分类和识别等。

      由于城市道路环境下的行道树的树干和树冠的交界处的点云密度较低,因此会造成行道树的树冠和树干的过分割,即将一颗行道树分割为多个分割块。为解决直接块分类导致的语义分割错误的问题,文中在DBSCAN[26]聚类分割的基础上,提出了一种基于分割块合并策略的语义分割方法,提高了基于分割块的点云语义分割的精度和召回率,实现了比较好的语义分割效果。文中方法主要分为三步:首先根据几何特征对分割块进行初步分类,然后通过主成分分析提取分割块,最后基于分割块合并策略实现语义分割。

    • 对于聚类后的分割块,首先统计每一个分割块的点数。对于建筑物点云,由于其点云密度较大,因此使用DBSCAN聚类算法可以将其聚类为一个或多个点数量大的分割块。通过设置分割块的点数阈值,提取除建筑物和点数小于阈值的分割块之外的地物:

      $$cluster = \left\{ {\begin{array}{*{20}{c}} {Buildings,}&{cluste{r^i}.Num \geqslant T{h_{Num1}}} \\ {Interest,}&{\rm otherwise} \\ {Noise,}&{cluste{r^i}.Num \leqslant T{h_{Num2}}} \end{array}} \right.$$ (1)

      式中:$cluste{r^i}. Num$代表任意一个分割块的点云数量;$T{h_{Num}}$代表分割块的点云数量阈值。

      通过计算点云簇的重心,首先将感兴趣的点云簇中的行道树和树冠提取出来。对于公式(1)筛选出的$Interest$分割块,包括了除建筑物之外的地物,如行道树、树冠、杆状物、树干和汽车等。行道树、树冠的重心与杆状物、树干等其他地物的重心在空间分布上具有明显差异。因此,通过公式(2)即可提取行道树和树冠。

      $$Interest = \left\{ {\begin{array}{*{20}{c}} {trees,crowns,}&{{P_{gravith}}.{\textit{z}} \geqslant T{h_1}} \\ {poles,cars,trunks,others,}&{\rm Otherwise} \end{array}} \right.$$ (2)

      式中:${P_{gravith}}.{\textit{z}}$代表分割块重心的${\textit{z}}$坐标;$T{h_1}$代表重心高度阈值。

    • 对于杆状物、车、行道树树干等点云簇,进行主成分分析得到不同点云簇的几何特征分布,实现对杆状物、树干和车的分类。

      主成分分析法是一种数学方法,通过数据寻找一组相互正交的坐标轴实现数据的降维。首先对点云簇计算重心,如公式(3)所示:

      $$\bar X = \frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} $$ (3)

      式中:$n$代表当前点云簇的点数量;${X_i}$代表当前点云簇的每一个点;$\overline X $代表当前点云簇的重心。

      对点云簇计算协方差矩阵,如公式(4)所示:

      $$S = \frac{1}{n}{\sum\limits_{i = i}^n {\left( {{X_i} -\overline X} \right)} ^{\rm T}}\left( {{X_i} -\overline X} \right)$$ (4)

      式中:${X_i}$表示点云簇中的每一个点;$\overline X $表示点云簇的重心;$n$代表点云簇的点数量。

      对协方差矩阵$S$进行奇异值分解SVD(Singular Value Decomposition),计算特征值和特征向量:

      $$S = V\left( {\begin{array}{*{20}{c}} {{\lambda _1}}&{}&{} \\ {}&{{\lambda _2}}&{} \\ {}&{}&{{\lambda _3}} \end{array}} \right){V^{\rm T}}$$ (5)

      式中:$S$代表协方差矩阵;${\lambda _1}$${\lambda _2}$${\lambda _3}$代表特征值;$V$是由特征向量组成的矩阵,特征向量顺序与特征值一致。最小特征值${\lambda _3}$对应的特征向量为点云簇的主方向。根据特征值计算点云簇的线性程度、点云簇的面性程度[7]和点云的主方向与z轴之间的夹角:

      $$ {L_\lambda } = \frac{{{\lambda _1} - {\lambda _2}}}{{{\lambda _1}}} $$ (6)
      $$ {P_\lambda } = \frac{{{\lambda _2} - {\lambda _3}}}{{{\lambda _1}}} $$ (7)
      $$ \alpha ={\rm{arccos}}\frac{\stackrel{\rightharpoonup }{{n}_{1}}\cdot \stackrel{\rightharpoonup }{{n}_{z}}}{\left|\stackrel{\rightharpoonup }{{n}_{1}}\right|\left|\stackrel{\rightharpoonup }{{n}_{z}}\right|}$$ (8)

      式中:${L_\lambda }$代表点云簇的线性程度;${P_\lambda }$代表点云簇的面性程度;$\alpha $代表向量之间的夹角;$ \stackrel{\rightharpoonup }{{n}_{1}}$代表点云簇的主方向;$ \stackrel{\rightharpoonup }{{n}_{z}}$代表z轴的方向向量。

      对于杆状物和树干,因为其分布具有很强的线性性质,反映到特征值上就是${\lambda _1}\gg$${\lambda _2}$,且其主方向大致与z轴平行。对于车辆,因为其具有很强的面性性质,反映到特征值上就是${\lambda _2}\gg$${\lambda _3}$,因此可以通过设置阈值,完成杆状物、树干和车辆的分类:

      $$\begin{split} &poles,cars,trunks,others =\\ &\left\{ {\begin{array}{*{20}{c}} {poles,trunks,}&{{L_\lambda } \geqslant T{h_L}\& \alpha \leqslant T{h_\alpha }} \\ {cars,}&{{P_\lambda } \geqslant T{h_P}} \\ {others,}&{\rm Otherwise} \end{array}} \right. \end{split}$$ (9)

      式中:$T{h_L}$$T{h_P}$$T{h_\alpha }$分别代表线性度阈值、面性度阈值、点云簇主方向与z轴夹角阈值。

    • 将所有的点云簇重心投影到水平面上。对杆状物、树干、行道树、树冠计算重心,并将重心向水平面投影,对重心投影点构建kd-tree(k-dimensional tree)。将杆状物和树干的重心投影至二维平面,对投影点进行k近邻检索,如果检索点和邻域点满足公式(10),则将检索点对应的点云簇和邻域点对应的点云簇进行合并。

      $$||{P_{query}} - {P_{nearst}}|{|_2} < T{h_{nearst}}\& |{P_{query}}.x - {P_{nearst}}.x| < T{h_{nearst\_x}}$$ (10)

      式中:${P_{query}}$代表向水平面投影后检索点;${P_{nearst}}$代表检索点的邻域点;$T{h_{nearst}}$$T{h_{nearst\_x}}$分别代表欧式距离阈值和在x轴方向上的距离阈值。${\left\| {{P_{query}} - {P_{nearst}}} \right\|_2}$为两点之间的欧氏距离,如公式(11)所示:

      $${\left\| {{P_{query}} - {P_{nearst}}} \right\|_2} = \sqrt {{{\left( {{x_{query}} - {x_{nearst}}} \right)}^2} + {{\left( {{y_{query}} - {y_{nearst}}} \right)}^2}} $$ (11)

      合并后的分割块主要为的杆状物和行道树的集合。两类物体的具有明显的区分度,如:不同地物在水平面上的投影面积的不同、最小包围盒的体积不同、点的密度分布不同等,对合并后的分割块,结合杆状物、和行道树的自然特征、空间特征与分类知识建立对应关系,根据每一个聚类后的点云簇的特征,与分类规则进行匹配,最终实现点云数据的低精度语义分割。文中根据地物的高度计算两个高度范围内点云的投影面积之差,从而对行道树和杆状物进行分类:

      $$poles,trees = \left\{ {\begin{array}{*{20}{c}} {poles,}&{Are{a_{above}} - Are{a_{below}} \leqslant T{h_{{\rm{Area}}Diff}}} \\ {trees,}&{Are{a_{above}} - Are{a_{below}} > T{h_{{\rm{Area}}Diff}}} \end{array}} \right.$$ (12)

      式中:$Are{a_{above}}$$Are{a_{below}}$分别代表当前分割块全部点云和当前分割块下方一定范围内的点云在水平面上的投影面积值;$T{h_{AreaDiff}}$代表面积差阈值。

      对于完成低精度语义分割后的点云,由于公式(1)的原因,会将一些数量小于阈值的分割块看作噪声,为了将这些噪声正确分类,文中对已经完成低精度语义分割的点云构建kd-tree,对公式(1)中的噪声点检索其邻域,将其类别归类为其邻域内点数量最多的类别,最终实现高精度的语义分割。

    • 文中选择六组数据,通过设置对比实验,对比直接块分类的语义分割结果和文中方法的语义分割结果从而完成对实验结果的定性分析。对六组数据中的杆状物和行道树计算语义分割精度和召回率,完成对实验结果的定量分析,验证所提方法的有效性。

    • 文中采用项彬彬等[11]提供的数据集中的部分数据,并分为六组。该数据集使用SICK LMS511车载激光雷达采集,其尺寸如表1所示,其中XYZ分别代表数据在三个坐标轴上的范围。文中在原始数据集的基础上将七个类别合并为五个类别:建筑物(黄色标记)、行道树(红色标记)、车(棕色标记)、杆状物(粉色标记)、地面(蓝色标记)。

      表 1  六组数据的尺寸

      Table 1.  6 sets of data size

      ItemRegion1/mRegion2/mRegion3/m
      X102.14449.87363.899
      Y25.47733.69940.929
      Z29.52818.74234.141
      ItemRegion4/mRegion5/mRegion6/m
      X124.01342.34791.563
      Y25.06822.04232.315
      Z17.06514.11833.042

      混淆矩阵是一种常用的用于表示分类精度的方法,如表2所示,每一行数值代表了点云在分类后相应类别中预测的数量,每一列数值代表了某类型点云在实际点云相应类型中真实的数量,为了对语义分割结果进行更加客观的评价,通过公式(13)、公式(14)分别计算精度和召回率,从而对语义分割结果进行定量分析,其中精度和召回率越高代表分割结果越好。

      $$Acc = \frac{{TP}}{{TP + FP}}$$ (13)
      $$Recall = \frac{{TP}}{{TP + FN}}$$ (14)

      表 2  混淆矩阵

      Table 2.  Confusion matrix

      ItemGround truth
      PositiveNegative
      PredictionPositiveTPFP
      NegativeFNTN
    • 文中选择六组数据,设置对比实验,验证所提方法的有效性。实验测试中,关键参数为:$T{h_L}$=0.9、$T{h_P}$=0.1、$T{h_\alpha }$=20°、$T{h_{AreaDiff}}$=1。

    • 以数据1为例,最终得到的分类结果如图1所示。

      图  1  数据1语义分割过程

      Figure 1.  Data 1 semantic segmentation process

      图1中图(a)代表原始的点云数据;图(b)代表使用DBSCAN聚类后的点云数据,不同的颜色代表不同的分割块,这些分割块是语义分割的基础;图(c)为未使用合并策略直接对分割块进行分类的语义分割结果;图(d)代表文中所提方法的语义分割结果。通过实验可以看出,图(c)中由于没有对聚类后的分割块进行合并,导致一些行道树以及行道树的树干被识别为了杆状物,最终得到了错误的语义分割结果。更进一步,针对同一棵树分割而言,图(c)中树干被错误地分割为杆状物(图(c)中红框中树木的树干为粉色),而图(d)中使用了文中所提块合并策略,在特征提取和分类之前完成了树干和树冠的合并,所以很好地对行道树完成了整体分割。

      同样的,其他五组数据的语义分割结果如图2所示,每一行代表不同的数据,通过第三列与第二列对比可以看出,通过采用文中所提块合并策略改善了最终的语义分割结果。

      图  2  数据2、数据3、数据4、数据5、数据6使用合并策略前后语义分割对比

      Figure 2.  Comparison of semantic segmentation of data 2, data 3, data 4 data 5 and data 6 before and after using the merge strategy

      分别计算六组场景中不采用文中所提合并策略、采用文中所提合并策略的杆状物和行道树的语义分割精度和召回率,如下:

      表 4  行道树精度、召回率

      Table 4.  Trees accuracy and recall

      MethodRegion1Region2Region3
      AccRecallAccRecallAccRecall
      Original62.0%12.7%87.9%76.2%100%45.4%
      Proposed99.6%99.9%99.8%100%100%99.7%
      MethodRegion4Region5Region6
      AccRecallAccRecallAccRecall
      Original99.4%96.2%100%98.8%99.7%95.1%
      Proposed99.4%100%100%100%99.7%100%

      由于数据3中不包括杆状地物,因此不计算精度和召回率。由表34可以看出,对于每一个场景,通过使用文中提出的合并策略,杆状物和行道树的精度、召回率都得到显著提升。在一些细节方面,对于数据1,如图3(a)所示,由于场景中存在路牙石和杆状物相连的点云,使用DBSCAN聚类无法准确地分割开来。因此,实验测试中,采用文中提出的合并策略也难以提高杆状物的语义分割精度;对于数据4,如图3(b)所示,由于其杆状物被行道树遮挡,难以在聚类分割时将其分离开来,进而将杆状物识别分类为行道树,所以最终杆状物的召回率较低。

      表 3  杆状物精度、召回率

      Table 3.  Poles accuracy and recall

      MethodRegion1Region2Region3
      AccRecallAccRecallAccRecall
      Original 6.9% 89.1% 5.4% 81.0% - -
      Proposed 49.7% 95.2% 100% 87.1% - -
      Method Region4 Region5 Region6
      Acc Recall Acc Recall Acc Recall
      Original 5.8% 27.8% 61.0% 100% 21.2% 80.3%
      Proposed 100% 27.8% 100% 100% 100% 80.3%

      图  3  DBSCAN局部分割

      Figure 3.  DBSCAN partial segmentation

    • 为了进一步验证文中所提合并策略的有效性,对比了SVM(Support Vector Machine)直接对分割块进行分类的方法和采用合并策略后再使用SVM进行分类两种方法的分割结果。试验选取的特征为分割块的线性度和空间散度,其中线性度的计算公式为公式(6)所示。与线性度相似,空间散度的计算公式如下:

      $${S_\lambda } = \frac{{{\lambda _3}}}{{{\lambda _1}}}$$ (15)

      式中:${\lambda _1}$${\lambda _3}$分别代表当前分割块的最大特征值和最小特征值。以数据1为例,对其中合并后的行道树和杆状物计算线性度和空间散度,其特征分布如图4所示。

      图  4  特征分布

      Figure 4.  Features distribution

      其中,横轴代表分割块的线性度,纵轴代表分割块的空间散度,绿色的点代表合并后的行道树的特征分布,红色的点代表合并后的杆状物的特征分布。通过特征分布图可以发现行道树的空间散度普遍大于杆状物的空间散度且行道树的线性度绝大部分低于杆状物的线性度,这表明合并后的行道树和杆状物具有很强的可分性。

      使用基于SVM的方法对文中六个区域内的行道树和杆状物进行试验,分别测试使用文中合并策略和不使用文中合并策略的分割效果,其结果如图5所示,每一行代表不同的数据,中间列代表直接使用SVM进行分类的结果,右侧列代表采用文中合并策略后再使用SVM进行分类的结果,可以发现,在直接对分割块使用SVM分类器得到的结果中有一些行道树的树干被分类为了杆状物,通过采用文中合并策略后改善了这种分类错误。为了定量分析实验结果,分别计算了基于SVM的两种分类方法最终的分割精度和召回率,如表5~6所示。

      图  5  数据1、数据2、数据3、数据4、数据5、数据6使用合并策略前后语义分割对比

      Figure 5.  Comparison of semantic segmentation of data 1, data 2, data 3, data 4, data 5 and data 6 before and after using the merge strategy

      表 5  杆状物精度、召回率

      Table 5.  Poles accuracy and recall

      MethodRegion1Region2Region3
      AccRecallAccRecallAccRecall
      Original 42.9% 95.2% 20.4% 87.1% - -
      Proposed 49.4% 95.2% 100% 87.1% - -
      Method Region4 Region5 Region6
      Acc Recall Acc Recall Acc Recall
      Original 24.9% 27.8% 61% 100% 33.2% 80.3%
      Proposed 100% 27.8% 100% 100% 100% 94.4%

      表 6  行道树精度、召回率

      Table 6.  Trees accuracy and recall

      MethodRegion1Region2Region3
      AccRecallAccRecallAccRecall
      Original 99.6% 97.7% 99.8% 95.4% 100% 99.3%
      Proposed 99.6% 99.9% 99.8% 100% 100% 99.7%
      Method Region4 Region5 Region6
      Acc Recall Acc Recall Acc Recall
      Original 99.4% 99.3% 100% 98.8% 99.7% 96.9%
      Proposed 99.4% 100% 100% 100% 99.9% 100%

      通过分析发现,使用文中所提的合并策略后,杆状物的分割精度和行道树的召回率大多数都提高到了一个较高的值。对于数据1中杆状物分割精度与数据4中召回率仍然较低的原因与2.2.1节分析的原因相同。

      采用分割块合并策略进行分类,实现低精度的语义分割后,原始点云中存在一些分割块没有获得标签,使用KNN(K-Nearest Neighbor)插值优化可以解决这一问题。通过对分类后的点构建kd-tree,对没有获取标签的点检索k近邻,将其类别归为k个近邻中数量最多的类别,最终达到高精度语义分割的效果。以数据1为例,插值优化前后的结果如图6所示,图(a)中蓝色点为优化前点云中无类别的点,对这些无类别的蓝色点使用KNN插值优化,从图(b)中可以看出,经过KNN插值优化后,语义分割效果得到了提升。

      图  6  KNN 插值优化前后对比

      Figure 6.  Comparison before and after KNN interpolation optimization

    • 文中提出了一种基于分割块合并策略的点云语义分割方法,通过对聚类分割结果进行合并、分类,实现行道树和杆状物的语义分割。此外,文中对语义分割后的点云进行插值优化,改善了语义分割结果。

      为了验证所提方法的有效性,分别基于规则匹配的分类方法和SVM分类的方法对所提合并策略进行验证,实验结果表明,与原始方法相比,针对城市道路环境下的行道树和杆状物,通过采用文中所提方法可将其召回率和精度平均提升至89.9%以上。文中所提方法在适用场景上仍具有限制,对于一些特别的室外场景,如:不同类别的地物紧密连接、杆状物被行道树遮挡等都会影响点云的聚类分割,进而导致最终的语义分割精度和召回率较低。因此,如何在复杂的室外场景中解决地物之间的相互遮挡以实现高精度的语义分割仍是未来需要深入研究的问题。

参考文献 (26)

目录

    /

    返回文章
    返回