采用辅助靶标的移动机器人立体视觉定位

李鹏; 张洋洋

doi:10.3788/IRLA201948.S117006

采用辅助靶标的移动机器人立体视觉定位

doi: 10.3788/IRLA201948.S117006

李鹏¹,
张洋洋²

1.
大连海事大学信息科学技术学院,辽宁大连 116026;
2.
大连海事大学船舶电气工程学院,辽宁大连 116026

基金项目:

国家自然科学基金（51505055）;辽宁省自然科学基金（201602096）;中央高校基本科研业务费专项资金（3132018193）

详细信息

作者简介:
李鹏(1985-),男,讲师,博士,主要从事机器视觉、运动检测等方面的研究。Email:lp20131012@dlmu.edu.cn

中图分类号: TP391

Stereo vision localization for mobile robot based on auxiliary target

Li Peng¹,
Zhang Yangyang²

1.
School of Information Science and Technology,Dalian Maritime University,Dalian 116026,China;
2.
School of Marine Electrical Engineering,Dalian Maritime University,Dalian 116026,China

摘要: 在自动化工厂中，为高效率、低成本地实现对移动机器人的立体视觉定位，提出了一种基于辅助靶标的移动机器人立体视觉定位方法。首先，基于高斯混合模型的背景减除法和形态学方法实现对视频图像中移动机器人运动区域的检测；其次，使用FAST算法对移动机器人运动区域进行特征点提取，进一步通过分析特征点邻域像素的三通道颜色特性，筛选出固定在移动机器人上的正方形辅助靶标的四个顶点；最后结合双目摄像机内、外参数的标定结果，计算出移动机器人上定位点的三维坐标，通过实验和分析验证了该方法的有效性。该方法具有算法复杂度小，实时性高等优点。
- 双目立体视觉 /
- 移动机器人 /
- 运动区域检测 /
- 特征提取 /
- 摄像机标定
Abstract: In order to realize stereo vision localization for mobile robot with high efficiency and low cost in the automated factory, a stereo vision localization method for mobile robot based on auxiliary target was proposed. Firstly, background subtraction based on Gaussian mixture model and morphological methods were used to detect motion areas of mobile robot from video images. Secondly, feature points in motion areas of mobile robot were extracted by the FAST algorithm. On this basis, by analyzing three-channel color characteristics of neighborhood pixels on each feature point, four vertices of the square auxiliary target fixed on the mobile robot were screened from extracted feature points. Finally, the 3D coordinate for localization of mobile robot was calculated with intrinsic and extrinsic parameters of binocular cameras calibrated. Experiment results show the feasibility and validity of the proposed method, which has the advantage of small algorithm complexity and high real-time.
- binocular stereo vision /
- mobile robot /
- motion area detection /
- feature extraction /
- camera calibration

[1]	Ding Wendong, Xu De, Liu Xilong, et al. Review on visual odometry for mobile robots[J]. Acta Automatica Sinica,2018, 44(3):385-400. (in Chinese)丁文东, 徐德, 刘希龙, 等. 移动机器人视觉里程计综述[J]. 自动化学报, 2018, 44(3):385-400.
[2]	Zhou Ji. Intelligent manufacturingmain direction of Made in China 2025[J]. China Mechanical Engineering, 2015, 26(17):2273-2284. (in Chinese)周济. 智能制造中国制造2025的主攻方向[J]. 中国机械工程, 2015, 26(17):2273-2284.
[3]	Howard A. Real-time stereo visual odometry for autonomous ground vehicles[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2008:3946-3952.
[4]	Nefti-Meziani S, Manzoor U, Davis S, et al. 3D perception from binocular vision for a low cost humanoid robot NAO[J]. Robotics Autonomous Systems, 2015, 68(C):129-139.
[5]	Hong S, Li M, Liao M, et al. Real-time mobile robot navigation based on stereo vision and low-cost GPS[J]. Electronic Imaging, 2017, 2017(9):10-15.
[6]	Liu Y, Gu Y, Li J, et al. Robust stereo visual odometry using improved RANSAC-based methods for mobile robot localization[J]. Sensors, 2017, 17(10):2339.
[7]	Ye Ping, Li Ziliang, Sun Hanxu. Stereovision-based localization for ball-shaped robot[J]. Control and Decision, 2013, 28(4):632-636. (in Chinese)叶平, 李自亮, 孙汉旭. 基于立体视觉的球形机器人定位方法[J]. 控制与决策, 2013, 28(4):632-636.
[8]	Yu Qingxiao. Research on mobile localization techniques for wheeled restaurant service robots[D]. Shanghai:Shanghai Jiao Tong University, 2013. (in Chinese)于清晓. 轮式餐厅服务机器人移动定位技术研究[D]. 上海:上海交通大学, 2013.
[9]	Lu Wei. Research on key techniques of high-precision and real-time visual localization[D]. Hangzhou:Zhejiang University, 2015. (in Chinese)卢维. 高精度实时视觉定位的关键技术研究[D]. 杭州:浙江大学, 2015.
[10]	Luo Yangyu, Liu Honglin. Research on binocular vision odometer based on bundle adjustment method[J]. Control and Decision, 2016, 31(11):1936-1944. (in Chinese)罗杨宇,刘宏林.基于光束平差法的双目视觉里程计研究[J]. 控制与决策, 2016, 31(11):1936-1944.
[11]	Rosten E, Drummond T. Machine learning for high-speed corner detection[C]//European Conference on Computer Vision. Springer-Verlag, 2006:430-443.
[12]	Zhang Xu, Wei Peng. Monocular vision calibration method of the stereo target for robot pose measurement[J]. Infrared and Laser Engineering, 2017, 46(11):1117005. (in Chinese)张旭, 魏鹏. 针对机器人位姿测量立体标靶的单目视觉标定方法[J]. 红外与激光工程, 2017, 46(11):1117005.
[13]	Ni Zhangsong, Gu Yi, Liu Qinglin, et al. Flexible calibration method for binocular stereo vision in large field of view[J].Optics and Precision Engineering, 2017, 25(7):1882-1889.(in Chinese)倪章松, 顾艺, 柳庆林, 等.大视场双目立体视觉柔性标定[J]. 光学精密工程, 2017, 25(7):1882-1889.
[14]	Yang Jinghao, Liu Wei, Liu Yang, et al. Calibration of binocular vision measurement system[J]. Optics and Precision Engineering, 2016, 24(2):300-308. (in Chinese)杨景豪, 刘巍, 刘阳, 等. 双目立体视觉测量系统的标定[J]. 光学精密工程, 2016, 24(2):300-308.
[15]	Zhang Pin, Chen Yiwang, Fu Qiang. Fast algorithm for camouflaged people detection in infrared imagery using GMM BS[J]. Infrared and Laser Engineering, 2012, 41(4):975-983. (in Chinese)张品, 陈亦望, 傅强. 使用GMM背景减除的红外伪装人体目标快速识别算法[J]. 红外与激光工程, 2012, 41(4):975-983.
[16]	Stauffer C, Grimson W E L. Learning patterns of activity using real-time tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8):747-757.
[17]	Li Zhaohui, Zhang Jianqi. Automatic vehicle detection using spaceborne optical remote sensing images in city area[J].Infrared and Laser Engineering, 2014, 43(11):3751-3755.(in Chinese)李昭慧, 张建奇. 城市街区星载光学遥感图像车辆目标自动检测方法[J]. 红外与激光工程, 2014, 43(11):3751-3755.
[18]	Pan Feng, Yan Beibei, Xiao Wen, et al. Digital holographic reconstruction image fusion based on mathematical morphology[J]. Chinese Optics, 2015, 8(1):60-67. (in Chinese)潘锋, 闫贝贝, 肖文, 等. 基于数学形态学的数字全息再现像融合方法[J]. 中国光学, 2015, 8(1):60-67.
[19]	Qi Bingjie, Liu Jinguo, Zhang Boyan, et al. Research on matching performance of SIFT and SURF algorithms for high resolution remote sensing image[J]. Chinese Optics, 2017, 10(3):331-339. (in Chinese)齐冰洁,刘金国,张博研,等.高分辨率遥感图像SIFT和SURF算法匹配性能研究[J]. 中国光学, 2017, 10(3):331-339.
[20]	Zhang Z. A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.

[1]	林森, 赵振禹, 任晓奎, 陶志勇. 基于语义信息补偿全局特征的物体点云分类分割 . 红外与激光工程, 2022, 51(8): 20210702-1-20210702-12. doi: 10.3788/IRLA20210702
[2]	吴志洋, 王双, 刘铁根, 靳党鹏. 基于深度学习视觉和激光辅助的盾构管片自动拼装定位方法 . 红外与激光工程, 2022, 51(4): 20210183-1-20210183-9. doi: 10.3788/IRLA20210183
[3]	刘逢刚, 丁磊, 肖利. 基于预测算法的遥控机器人控制系统 . 红外与激光工程, 2021, 50(S2): 20210109-1-20210109-9. doi: 10.3788/IRLA20210109
[4]	殷永凯, 张宗华, 刘晓利, 彭翔. 条纹投影轮廓术系统模型与标定综述 . 红外与激光工程, 2020, 49(3): 0303008-0303008-18. doi: 10.3788/IRLA202049.0303008
[5]	赵海鹏, 杜玉红, 丁娟, 赵地, 史屹君. 移动机器人中激光雷达测距测角标定方法 . 红外与激光工程, 2019, 48(6): 630002-0630002(8). doi: 10.3788/IRLA201948.0630002
[6]	王毅, 何明元, 葛晶晶, 项杰. 基于正交匹配追踪的云检测算法研究 . 红外与激光工程, 2019, 48(12): 1203003-1203003(6). doi: 10.3788/IRLA201948.1203003
[7]	熊晶莹, 戴明, 赵春蕾. 红外激光车载云台去抖动设计 . 红外与激光工程, 2018, 47(1): 126002-0126002(7). doi: 10.3788/IRLA201847.0126002
[8]	仝选悦, 吴冉, 杨新锋, 滕书华, 庄祉昀. 红外与激光融合目标识别方法 . 红外与激光工程, 2018, 47(5): 526003-0526003(8). doi: 10.3788/IRLA201847.0526003
[9]	蔡克荣, 仇理宽, 高瑞林. 脉冲激光引信的信号特征提取方法及应用(特邀) . 红外与激光工程, 2018, 47(3): 303004-0303004(5). doi: 10.3788/IRLA201847.0303004
[10]	吴志豪, 施安存, 孙悦, 段靖远, 盖轶冰. 一种新型VLC高精度混合定位算法的实现 . 红外与激光工程, 2017, 46(11): 1126001-1126001(6). doi: 10.3788/IRLA201746.1126001
[11]	孙俊灵, 马鹏阁, 孙光民, 羊毅. 低信噪比下机载多脉冲激光雷达姿态不敏感性特征提取研究 . 红外与激光工程, 2017, 46(3): 330002-0330002(9). doi: 10.3788/IRLA201746.0330002
[12]	方敏, 王君, 王红艳, 李天涯. 应用监督近邻重构分析的高光谱遥感数据特征提取 . 红外与激光工程, 2016, 45(10): 1028003-1028003(8). doi: 10.3788/IRLA201645.1028003
[13]	肖志涛, 朱莎莎, 耿磊, 李月龙, 刘文超, 叶琨. 深度约束的零件尺寸测量系统标定方法 . 红外与激光工程, 2015, 44(9): 2831-2836.
[14]	杨晟, 李学军, 朱诗兵, 刘涛. 抗仿射形变异构金字塔复合描述点特征匹配算法 . 红外与激光工程, 2014, 43(7): 2387-2392.
[15]	杨晟, 李学军, 谢剑薇, 王珏. 脊点集稳健裁剪和惩罚约束的高精度靶标点提取 . 红外与激光工程, 2014, 43(6): 1994-1999.
[16]	闫勇刚, 欧阳健飞, 马祥, 翟羽佳. 基于2-DGabor滤波器的光学定穴体表特征提取方法 . 红外与激光工程, 2014, 43(5): 1685-1689.
[17]	戴士杰, 邵猛, 吴佳宁, 葛圣强. 使用12像素对称模板的棋盘格内角点检测 . 红外与激光工程, 2014, 43(4): 1306-1311.
[18]	丁玲, 唐娉, 李宏益. 基于ISOMAP的高光谱遥感数据的降维与分类 . 红外与激光工程, 2013, 42(10): 2707-2711.
[19]	蔡辉, 李娜, 赵慧洁. 基于本征模函数的高光谱数据特征提取方法 . 红外与激光工程, 2013, 42(12): 3475-3480.
[20]	霍炬, 杨宁, 杨明, 董文博. 基于小靶标拼接的大视场摄像机标定方法 . 红外与激光工程, 2013, 42(6): 1474-1479.

点击查看大图

计量

文章访问数: 539
HTML全文浏览量: 113
PDF下载量: 40
被引次数: 0

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

采用辅助靶标的移动机器人立体视觉定位

doi: 10.3788/IRLA201948.S117006

作者简介:
李鹏(1985-),男,讲师,博士,主要从事机器视觉、运动检测等方面的研究。Email:lp20131012@dlmu.edu.cn

Stereo vision localization for mobile robot based on auxiliary target

计量

采用辅助靶标的移动机器人立体视觉定位

doi: 10.3788/IRLA201948.S117006

1. 大连海事大学信息科学技术学院,辽宁大连 116026;

2. 大连海事大学船舶电气工程学院,辽宁大连 116026

作者简介:
李鹏(1985-),男,讲师,博士,主要从事机器视觉、运动检测等方面的研究。Email:lp20131012@dlmu.edu.cn

English Abstract

Stereo vision localization for mobile robot based on auxiliary target

1. School of Information Science and Technology,Dalian Maritime University,Dalian 116026,China;

2. School of Marine Electrical Engineering,Dalian Maritime University,Dalian 116026,China

全文HTML

目录

留言板

采用辅助靶标的移动机器人立体视觉定位

doi: 10.3788/IRLA201948.S117006

作者简介: 李鹏(1985-),男,讲师,博士,主要从事机器视觉、运动检测等方面的研究。Email:lp20131012@dlmu.edu.cn

Stereo vision localization for mobile robot based on auxiliary target

计量

出版历程

采用辅助靶标的移动机器人立体视觉定位

doi: 10.3788/IRLA201948.S117006

1. 大连海事大学 信息科学技术学院,辽宁 大连 116026; 2. 大连海事大学 船舶电气工程学院,辽宁 大连 116026

作者简介: 李鹏(1985-),男,讲师,博士,主要从事机器视觉、运动检测等方面的研究。Email:lp20131012@dlmu.edu.cn

English Abstract

Stereo vision localization for mobile robot based on auxiliary target

1. School of Information Science and Technology,Dalian Maritime University,Dalian 116026,China; 2. School of Marine Electrical Engineering,Dalian Maritime University,Dalian 116026,China

全文HTML

目录

作者简介:
李鹏(1985-),男,讲师,博士,主要从事机器视觉、运动检测等方面的研究。Email:lp20131012@dlmu.edu.cn

1. 大连海事大学信息科学技术学院,辽宁大连 116026;

2. 大连海事大学船舶电气工程学院,辽宁大连 116026

作者简介:
李鹏(1985-),男,讲师,博士,主要从事机器视觉、运动检测等方面的研究。Email:lp20131012@dlmu.edu.cn

1. School of Information Science and Technology,Dalian Maritime University,Dalian 116026,China;

2. School of Marine Electrical Engineering,Dalian Maritime University,Dalian 116026,China