-
随着汽车技术的不断发展，智能辅助驾驶系统（Advanced Assisted Driving System, ADAS）开始被广泛应用于车辆的安全系统中，用以提升车辆的安全性。在遭遇危险驾驶场景时，它可以提前为驾驶员进行安全信息预判，具有保证车辆行驶安全，降低交通事故的优点，目前已成为汽车产品开发的热点[1]。
车辆在行驶过程中，辅助驾驶系统可以实时对行驶环境进行监测，识别出可能存在危险的目标信息。传感器对于目标的感知能力起着至关重要的作用，只有实现了目标车辆的精确感知才能实现精确预警与决策[2]。为提升辅助系统对于环境的感知能力，国内外学者做了大量的研究工作。Song W等[3]对摄像头和雷达进行了信息融合，目标的横向信息采用摄像头的数据，纵向信息选用雷达数据，同时结合车辆运动模型对目标的危险性进行判别，以提升对前方危险目标的探测能力；Natnael S等[4] 对单目标和多目标识别算法进行了研究，采用了机器学习算法对目标进行检测与追踪，目标距离的输出依据于雷达数据信息，提升了对目标车辆的检测能力；郭磊等[5] 提出了非线性映射能力直接建立了毫米波雷达坐标系和视觉图像坐标系之间的映射关系，提升了毫米波雷达与视觉传感器联合标定的精度，也缩短了标定时间。顾恭等[6]对深度学习算法进行了改进，扩充学习样本数量，调整了图像输入参数，优化了网络的特征提取，提升了算法对于目标车辆的探测能力。
在目标的识别与分类检测上，摄像头作为驾驶系统的重要传感器，可以捕获丰富的图像信息，但传统基于特征和颜色的检测算法，对目标车辆的检测精度较低，鲁棒性较差。深度学习算法进行对车辆特征图像的学习训练之后，可对目标车辆进行快速检测，但在对远处小目标进行识别时，由于图像特征相对较模糊，识别精度较低，同时对于类似车辆特征的围栏和铁门，也会出现一定的误检率。通过不断扩充训练样本的数量和标注负样本的方法，虽然可以提升算法对小目标的识别精度和降低误检率，但是该方法工作量较大且具有一定的盲目性。由于雷达易受噪声信号的影响，在将摄像头与毫米波雷达进行数据融合时，需要对其噪声进行过滤，并设定合适的阈值筛选出有效目标，否则具有较多信息冗余，这方面工作前人较少提及，因此，为了实现辅助驾驶系统对车辆的精确感知，文中选用了长焦和短焦两种摄像头对前方图像进行采集，借助图像融合的技术来提升图像的清晰度，并对深度学习算法SSD算法进行改进，以提升对远处小目标车辆的识别，同时对毫米波雷达数据进行处理，借助于雷达模拟器确定出雷达目标筛选的合适阈值参数，提取出有效的目标信息，通过雷达数据生成目标的感兴趣区域，由SSD算法对感兴趣区域进行车辆检测，消除了雷达的误检测，同时也缩小了图像检测范围，减少图像识别的误检区域，从两方面对于车辆检测的准确性进行了提升。
-
传统目标检测算法虽可以通过车辆轮廓对称、轮胎、车牌和底部阴影的方法进行检测，但是由于车辆行驶环境不确定，周围环境信息复杂的因素，往往算法的鲁棒性较差，文中通过改进的SSD深度学习算法对目标车辆进行检测，通过对不同行驶环境下的车辆图像进行采集，利用标定工具对车辆信息进行标注，使网络对车辆的特征信息进行学习[7]。
SSD算法作为端对端的目标检测算法，以直接回归的方式进行目标的分类和定位，在检测速度上具有较快的优势，它的网络结构主要由VGG、Extra Layers和Multi-box Layers三大部分组成[8]。图像输入SSD网络中，通过多层的卷积神经网络CNN对图像特征进行提取，并形成特征图，由特征图的每个点生成候选框，候选框集合起来统一由极大抑制函数进行处理，得到合适的目标候选框。图像在卷积过程中会损失图像分辨率，同时存在过多无效的候选框会影响算法的检测速度，为了使SSD算法更好的针对车辆进行检测，文中对SSD算法进行了改进，对网络中浅层特征图进行图像分辨率重建，减少图像在降采样过程中的分辨率的损失，并删除冗余的候选框尺寸，在保证检测速度的同时也提升了目标识别的准确率。
输入图像在不断经过下采样和池化的操作过程中，图像的分辨率会降低，通过特征提取、缩小、特征映射扩充和反卷积操作，对图像的分辨率进行重建。网络的输入为SSD VGG16主网络中Conv4-3卷积层提取的特征图像，特征图像FP1经过图像缩小降低维度以及非线性特征映射去除冗余的特征参数得到特征图像FP2，再将特征图像FP2扩充至原来图像维度，然后由反卷积层重建出高分辨率特征图像，改进的SSD算法网络结构如图1所示。
图 1 改进SSD算法网络结构图
Figure 1. Network structure diagram of improved SSD algorithm
为提升算法检测速度，对车辆样本候选框长宽比以及卷积层的关系进行了研究，通过选取5000个图片样本进行测试，得到候选框长宽比与卷积层的对应关系如图2所示。
图 2 候选框尺度分布图
Figure 2. Scale distribution graph of candidate boxes
对网络结构中的候选框的数量进行检测，通过实验数据进行分析，在对目标车辆进行检测时，1/3的候选框在网络中匹配率较低，并且在Conv9-2层之后，候选框的分布范围变小，主要集中于2和3的候选框，即出现冗余卷积层。在算法结构中，文中对1/3的候选框以及Conv9-2以后的卷积层进行删除。
-
SSD算法在进行车辆识别时，是通过已学习到的车辆特征对待检测图像进行特征匹配，输入图像的清晰度会直接影响车辆特征的匹配结果。改进后的SSD算法虽可以对目标车辆进行快速检测，但是在对模糊图像进行识别时，由于车辆特征相对比较模糊，算法对车辆的检测精度较低，尤其对于小目标的检测。为提升算法对于小目标的检测精度，提高目标的图像清晰度，文中选用长焦和短焦两种摄像头对前方图像进行采集，借助图像融合的技术来提升图像的清晰度，从而提升算法对车辆特征的识别。
长焦摄像头焦距长，视角小，采集远距离图像时相对较清晰；短焦摄像头焦距短，视角大，采集的图像视角较大。图像信息中包含了目标的丰富信息，通过信息融合的方法，可以将同一场景下的多焦距图像信息进行融合，给定长焦和短焦的图像信息，通过预处理得到图像特征点的像素坐标，确定图像的放缩与转换关系，利用OpenCV泊松融合算法进行重合区域的信息融合，提出冗余信息，找到互补信息，得到更为精确、丰富和高质量的图像信息。
选用的长焦摄像头焦距为50 mm，视角为8.2°×6.1°，短焦摄像头焦距为8 mm，视角为42°×30°。因两相机安装中具有一定间距，导致所拍摄的画面具有一定的差异，在进行融合之前需将两个相机的重合图像进行配准，配准的转换公式为[8]：
$${I_1}({x_1},{x_2}) = f({I_2}({x_1},{x_2}))$$ (1) 式中：
${I_1}$ 为短焦相机的图像坐标信息；${I_2}$ 为长焦相机的图像坐标信息；$f$ 为转换公式。两相机固定好之后，通过张正友标定算法分别对两个相机进行标定，得到相机的内外参数，标定完成后，在两相机前面放置一标定板，确保标定板的图像恰好占满长焦摄像头的视角，分别保存两个相机采集的标定板图像，利用角点检测算法得到标定板的角点坐标，根据短焦相机中标定板像素坐标的尺寸，确定长焦相机的图像的放缩尺寸，通过Opencv机器视觉库中resize函数，对图像进行调整，放缩大小为（550,302），保证两图像重合区域图像的大小一致。由相同角点的像素坐标，确定转换关系，将两者重合图像进行配找准，利用seamlessClone泊松融合函数对重合区域图像进行融合，融合中心点为短焦图像（645,535）的像素坐标点，融合结果如图3所示。
图 3 (a)长焦相机图像；(b)短焦相机图像；(c)融合后的图像；(d)未经融合处理的局部图像；(e)融合处理后的局部图像
Figure 3. (a) Long focal length image; (b) Short focal length image; (c) Image with fusion processed; (d) Partial image without fusion processing; (e) Partial image with fusion processed
经过长焦和短焦相机信息融合之后，车辆的信息变得清晰，尾部大灯、外部轮廓和车牌信息可以清晰可见，融合后的图像体现了场景中车辆的全面和优质信息，为后续目标算法识别提供了保障。
-
通过高清摄像头对不同工况下的车辆进行图片采集，制作SSD模型的训练数据集。在Ubuntu系统中对SSD网络学习框架进行配置，配置成功后输入标注的车辆学习文件进行网络训练。模型训练完成后，调用SSD算法对图片中的车辆进行识别，以长焦和短焦的融合图像和BIT-Vehicle车辆图片为测试数据集对算法的准确率进行测试，同时以平均准确率mAP为评价指标[9]，SSD算法的检测准确率为76.3%，改进之后的SSD检测准确率为86.2%，测试结果如图4所示。
图 4 (a) 采集的车辆图片；（b）复杂环境下改进的SSD算法车辆检测结果
Figure 4. （a） Collected vehicle pictures; （b） Improved SSD algorithm for vehicle detection result in complex environment
通过对算法网络结构和输入图像清晰度的调整，改进之后的算法提升了车辆检测的置信度，同时对于近距离和远距离的目标车辆都有较好的检测效果。但是，车辆在复杂环境工况进行行驶时，算法会存在一定的误检率，会将护栏、树荫、灌木等类似车辆特征的物体误检为车辆。为了更好的满足ADAS系统的要求，进一步实现目标车辆的精确检测，下面将雷达数据与改进的SSD算法进行信息融合，以减小算法的误检率。
-
毫米波雷达具有穿透能力强，不受天气因素影响的优点，其工作波段为毫米波段，可以输出目标的距离、角度和速度信息，但受限于金属障碍物的干扰、回波能量的不均匀等因素的影响，探测结果中常常混有无效目标、静止目标和非危险目标[10]。文中采用大陆ARS408毫米波雷达，在雷达的输出信息中，可以获得目标的lifetime、RCS、Distance和Azimuth信息，通过设定合适的参数阈值对有效目标进行过滤，从而减少雷达的杂波影响。文中采用NI雷达模拟器对不同目标进行模拟，利用模拟器对雷达的chip波进行抓取，确定雷达的波束中心点，通过上位机软件设定不同目标，观测不同参数下雷达对目标的探测结果，雷达探测的结果如图5所示。
图 5 （a）动态目标模拟时雷达探测结果；（b） Lifetime参数对雷达探测结果的影响
Figure 5. (a) Radar detection results in dynamic target simulation; (b) Influence of Lifetime parameters on radar detection results
从测试结果中观测，当Lifetime参数设定为0.1 s时，雷达能够过滤绝大多数噪声目标，过滤效果比较理想；家用轿车的RCS值一般为5 dB，选取RCS值大于5 dB的目标进行筛选，以去除非车辆目标[10]；我国道路宽度标准为3.75 m[11]，通过Distance和Azimuth确保雷达纵向80 m，横向5 m区域内的目标进行探测。
-
确定雷达参数阈值之后，分别将雷达和两款摄像头安装与实车上，雷达固定于车辆保险杠上方，摄像头安装于挡风玻璃前，传感器的安装如图6所示。
图 6 摄像头和雷达实车安装位置
Figure 6. Installation location of camera and radar on real vehicle
安装完成之后，需要对传感器进行标定，摄像头在标定过程中，采用张正友标定法进行内外参数标定，同时对畸变图像进行校正。
由于摄像头与雷达的安装位置不同，在进行数据融合之前，需要对两者传感器数据进行空间数据的统一，确保两者采集的数据在同一个坐标系之下。传统算法通过相机坐标系、雷达坐标系和世界坐标系三者的转换进行统一，但因雷达和摄像头安装点之间的距离参数难以精确测量，并且坐标转换公式复杂，转换结果并不理想[12]。
文中以三坐标测量仪为雷达和摄像头的转换媒介，确定摄像头数据和雷达数据的转换关系。通过9个特征点的测量计算出摄像头数据到三坐标测量仪数据的转换矩阵与平移矩阵的关系。利用曲线拟合的方式，得到三坐标测量仪与雷达数据的转换关系。根据摄像头-三坐标和三坐标-雷达数据的转换关系，将雷达数据和摄像头数据进行统一。实验数据采集时，在主车静止的情况下，驾驶一目标车辆在前方进行移动，目标车辆固定一红色小球，以小球的球心为三坐标测量仪数据的采集点，进行摄像头数据采集。毫米波雷达经过阈值过滤后，可以输送出前方车辆的距离和位置信息，实验过程中数据采集如图7所示。
将三坐标测量仪的数据和雷达数据分别导出，去除异值点，基于Matlab的曲线拟合工具箱进行数据拟合，得到图像的像素坐标和目标距离的拟合关系曲线，通过多项式对数据进行拟合，得到结果：
$$ \begin{split} f(x,y) = &{p_{00}} + {p_{10}} × x + {p_{01}}×y + {p_{11}}×x×y + \\& {p_{02}}×{y^2} + {p_{12}}×x×{y^2} + {p_{03}}×{y^3} \end{split} $$ (2) 式中：
${p_{00}}$ =9.301；${p_{10}}$ =0.063；${p_{01}}$ =−5.588；${p_{11}}$ =0.008；${p_{02}}$ =5.335；${p_{12}}$ =−0.006；${p_{03}}$ =−2.271。标定完成后，对标定结果进行测试，选取不同数据点形成测试集，测试结果如表1所示。
从表中标定误差的对比，传统联合标定的总体像素误差为0.3712，文中标定的总体像素误差为0.2713，相比于传统的标定算法，误差较小。
图 7 （a）实验图片；（b）数据采集
Figure 7. (a) Experimental picture; (b) Data collection
表 1 标定结果的图像残差值和总体误差
Table 1. Image residuals and overall errors of calibration results
Calibration
methodTotal
sample sizeX direction image
residual mean/pixelResidual variance of
the X-direction imageY direction image
residual mean/pixelResidual variance of
the Y-direction imageTotal error
per pixelTraditional joint calibration 1 000 0.2364 0.0982 0.2863 0.0992 0.3712 Proposed method 1 000 0.1852 0.0568 0.1983 0.0613 0.2713 -
摄像头和雷达标定完成后，雷达数据通过Cancase和Dspace Microbox快速原型机进行数据获取，将探测的目标数据发送至Simulink环境中进行解析，设定雷达参数阈值之后，目标数据减少了杂波影响，根据联合标定公式（2），将雷达数据转换成图像坐标信息，由UDP通讯协议发送至图像处理程序，生成目标车辆的感兴趣区域。
根据雷达数据生成的感兴趣区域，输入雷达适配参数后可以对护栏、树木和安全区域的车辆进行过滤，由感兴趣区域的坐标信息，设计图像的蒙板，提取出图像中目标的感兴趣区域，然后调用SSD目标检测算法对感兴趣区域进行车辆检测，以剔除感兴趣区域的非车辆目标，并且进一步收缩车辆外形的识别边框，数据采集如图8(a)所示，单帧图像平均处理总时间为32 ms，检测结果如图8(b)所示。
图 8 （a）摄像头和雷达数据交互；（b）车辆检测结果
Figure 8. (a) Data interaction between camera and radar;(b) Vehicle test results
-
受限于雷达有效目标的选取，信息融合车辆检测算法只对本车道和相邻车道距离为0.2~80 m范围内的目标车辆进行检测，通过采集不同天气条件下的2000张视频图片进行前方车辆检测，采用车辆检测准确率（True Position Rate，TPR）和误检率（False Detection Rate，FDR）对算法的有效性进行评价[13]，计算公式为：
$$ {TPR} = {TP}/{AP} $$ (3) $$ {FPR} = {FP}/\left( {{TP} + {FP}} \right) $$ (4) 式中：TP为分类器检测出的车辆数；AP为实际车道中的车辆总数；FP为被分类器误检为车辆的数目。
表2为信息融合算法在不同天气条件下的检测结果，在晴天、阴天和夜晚有光照的情况下，对于目标车辆检测的准确率分别达到了95.3%、93.8%和91.7%，误检率分别为0.3%、0.4%和0.6%，相比于单传感器车辆检测的准确率得以提升，实现了前方目标车辆的精确感知，单帧图像平均处理总时间为32 ms，可满足辅助驾驶系统的实时性需求。
表 2 车辆检测准确率对比表
Table 2. Comparison table of vehicle detection accuracy
Weather Vehicle
numberDetection accuracy
of LadarDetection accuracy
of visionDetection accuracy of
information fusionFusion false
detection rateSunny 3328 86.3% 87.2% 95.3% 0.3% Cloudy 1896 88.5% 83.6% 93.8% 0.4% Night （Illumination） 1275 89.2% 80.4% 91.7% 0.6% -
(1) 对SSD深度学习算法框架进行了优化，提出了多余的候选框，采用图像融合技术将长焦和短焦采集的图像进行融合，保证输入图像的清晰度，提升算法对车辆的检测精度。
(2) 对雷达数据进行处理，确定合适的阈值参数，得到有效目标信息的信息数据，根据标定公式生成目标存在的感兴趣区域。
(3) 采用摄像头和雷达信息融合技术对前方车辆进行检测，并对测试结果进行测试，对于晴天环境中车辆的检测准确率最高达到了95.3%，单帧图像平均处理总时间为32 ms，实现了车辆的准确检测和实时性的需求，提高了辅助系统预警的精确性。
Front vehicle detection based on multi-sensor information fusion
-
摘要: 为提升辅助驾驶系统对于道路环境中车辆的感知能力，通过机器视觉与毫米波雷达信息融合技术对前方车辆进行了检测。融合系统中对摄像头和毫米波雷达进行了联合标定，借助三坐标测量仪确定两者的数据转换的关系，优化了深度学习算法SSD的候选框，提高了车辆的检测速度，选用长焦和短焦两种摄像头进行前方图像采集，并将两者重合图像进行融合，提升了前方小目标图像的清晰度，同时对毫米波雷达数据进行了处理，借助雷达模拟器确定合适阈值参数实现对车辆目标的有效提取，根据雷达有效目标数据对摄像头采集的图像进行选择与建立感兴趣区域，通过改进的SSD车辆识别算法对区域中的车辆进行检测，经过测试，车辆的检测准确率最高达到95.3%，单帧图像平均处理总时间为32 ms，该算法提升系统前方车辆检测的实时性和环境适应性。Abstract: In order to improve the ability of Advanced Driving Assisted System (ADAS) to perceive vehicles in the road environment, the information fusion algorithm of machine vision and millimeter wave radar was proposed to detect front vehicles in this paper. Firstly, the camera and millimeter wave radar were jointly calibrated to determine their conversion formula using the coordinate measuring machine in the fusion system. The candidate frame of SSD for deep learning algorithm was optimized to improve the speed of vehicle detection, while long focus camera and short focus camera were selected for two front images acquisition, the overlapped images were fused to improve sharpness of small target image ahead. The appropriate threshold parameters of radar data were determined by radar simulator and the effective vehicle target was extracted. According to these effective target data, the image collected by the camera was selected and the region of interest was established. Vehicles in the selection region were detected with the improved SSD algorithm. In the test, the vehicle detection rate is 95.3%, and the total processing time for single frame image is 32 ms. It proves that the algorithm can help ADAS system to archieve vehicle detetcion with higher real-time and environmental adaptability.
-
Key words:
- advanced driving assisted system /
- camera /
- millimeter wave radar /
- information fusion
-
图 3 (a)长焦相机图像；(b)短焦相机图像；(c)融合后的图像；(d)未经融合处理的局部图像；(e)融合处理后的局部图像
Figure 3. (a) Long focal length image; (b) Short focal length image; (c) Image with fusion processed; (d) Partial image without fusion processing; (e) Partial image with fusion processed
图 4 (a) 采集的车辆图片；（b）复杂环境下改进的SSD算法车辆检测结果
Figure 4. （a） Collected vehicle pictures; （b） Improved SSD algorithm for vehicle detection result in complex environment
图 5 （a）动态目标模拟时雷达探测结果；（b） Lifetime参数对雷达探测结果的影响
Figure 5. (a) Radar detection results in dynamic target simulation; (b) Influence of Lifetime parameters on radar detection results
图 8 （a）摄像头和雷达数据交互；（b）车辆检测结果
Figure 8. (a) Data interaction between camera and radar;(b) Vehicle test results
表 1 标定结果的图像残差值和总体误差
Table 1. Image residuals and overall errors of calibration results
Calibration
methodTotal
sample sizeX direction image
residual mean/pixelResidual variance of
the X-direction imageY direction image
residual mean/pixelResidual variance of
the Y-direction imageTotal error
per pixelTraditional joint calibration 1 000 0.2364 0.0982 0.2863 0.0992 0.3712 Proposed method 1 000 0.1852 0.0568 0.1983 0.0613 0.2713 
下载: 导出CSV
表 2 车辆检测准确率对比表
Table 2. Comparison table of vehicle detection accuracy
Weather Vehicle
numberDetection accuracy
of LadarDetection accuracy
of visionDetection accuracy of
information fusionFusion false
detection rateSunny 3328 86.3% 87.2% 95.3% 0.3% Cloudy 1896 88.5% 83.6% 93.8% 0.4% Night （Illumination） 1275 89.2% 80.4% 91.7% 0.6%
下载: 导出CSV
-
[1] Luo X, Wang P, Li S, et al. Dynamic target detection method in motor vehicle assisted driving system [J]. Computer Engineering, 2018, 44(1): 311-316. (in Chinese) [2] Wang T, Xin J, Zheng N. A method integrating human visual attention and consciousness of radar and vision for autonomous vehicle navigation [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6): 1137-1149. [3] Song W, Yang Y, Fu M. Real-time obstacles detection and status classification for collision warning in a vehicle active safety system [J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(3): 758-773. doi: 10.1109/TITS.2017.2700628 [4] Natnael S, Yougmin W, Jintae K. Millimeter-wave radar and RGB-D camera sensor fusion for real-time people dection and tracking[C]//International Conference on Robot Intelligence Technology and Applications(RiTA), 2019: 93-98. [5] Li P, Peng J C, Huang P, et al. Condition monitoring for bogie frame based on two-objective sensor distribution optimization [J]. China Measurement & Test, 2020, 46(9): 131-147. (in Chinese) [6] Gu G, Xu X D. Real-time vehicle detection and information recognition technology based on YOLOv3 improved algorithm [J]. Computer Engineering and Applications, 2020, 56(22): 173-184. (in Chinese) [7] Liu K J, Ma R S, Tang Z M, et al. Design of infrared target recognition system with optimized convolutional network [J]. Optics and Precision Engineering, 2021, 29(4): 822-831. (in Chinese) [8] Zhuang Z B, Qiu Y H, Lin J Q, et al. Turbulence warning based on convolutional neural network by lidar [J]. Infrared and Laser Engineering, 2021, 51(4): 20210320. (in Chinese) [9] Yu R W, Han X, Du L Q. Target part recognition based inception-SSD algorithm [J]. Optics and Precision Engineering, 2020, 28(8): 1799-1809. (in Chinese) [10] Li Y, Di J L, Ren L. Deep-learning-based prediction of living cells mitosis via quantitative phase microscopy [J]. Chinese Optics Letters, 2021, 19(5): 051701. (in Chinese) [11] JTGB01-2003. Technical standard of highway engineering[S]. Beijing: Ministry of Communications, PRC, 2003: 12-13. (in Chinese) [12] Luo X, Yao Y, Zhang J. Unified calibration method for millimeter-wave radar and camera [J]. Journal of Tsinghua University (Natural Science Edition), 2014, 54(3): 289-293. (in Chinese) [13] Liu Y P, Huo X L, Liu Z C. Optical fiber network abnormal data detection algorithm based on deep learning [J]. Infrared and Laser Engineering, 2021, 50(6): 20210029. (in Chinese) -
点击查看大图
计量
- 文章访问数: 268
- HTML全文浏览量: 101
- PDF下载量: 35
- 被引次数: 0
