详情

原文传递多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法

专利名称：	多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
摘要：	本发明提供一种多摄像头的复杂场景自适应车辆碰撞预警装置及方法，本发明的多摄像头感知模块包括焦距依次减小的三个固定焦距式摄像头，多摄像头感知模块将探测到的前方图像信息传输给数据处理与计算模块；数据处理与计算模块根据设定的内置碰撞预警方法对图像信息进行车辆检测、跟踪和前后车距计算，生成碰撞预警信息；碰撞报警模块接收该碰撞预警信息，并且产生报警信息给驾驶员进行报警提示。本发明的三个固定焦距摄像头，既覆盖较宽探测的范围，又避免使用变焦距相机带来的成本高、体积尺寸大的问题；预警方法将分类器进行场景分类，使级联分类器体积小，检测效率高，更使对应场景下的车辆特征突出，使系统的复杂场景自适应能力高。
专利类型：	发明专利
国家地区组织代码：	安徽;34
申请人：	合肥思艾汽车科技有限公司
发明人：	朱茂飞;林建飞;杜鹏;高磊;訾春元;林雅敏
专利状态：	有效
申请日期：	2019-01-11T00:00:00+0800
发布日期：	2019-05-03T00:00:00+0800
申请号：	CN201910025843.X
公开号：	CN109703460A
代理机构：	南京常青藤知识产权代理有限公司
代理人：	史慧敏
分类号：	B60Q9/00(2006.01);B;B60;B60Q;B60Q9
申请人地址：	230000 安徽省合肥市蜀山经济开发区湖光路自主创新产业基地三期1号楼A区8楼
主权项：	1.多摄像头的复杂场景自适应车辆碰撞预警装置，包括多摄像头感知模块、数据处理与计算模块和碰撞报警模块，其特征在于，所述多摄像头感知模块连接所述数据处理与计算模块，用于将探测到的前方道路和障碍物图像信息传输给数据处理与计算模块；所述多摄像头感知模块包括焦距依次减小的第一摄像头、第二摄像头和第三摄像头，所述第一摄像头、所述第二摄像头和所述第三摄像头均为固定焦距摄像头；所述数据处理与计算模块用于根据设定的内置碰撞预警方法对图像信息进行车辆检测、跟踪和前后车距计算，根据前后车距、相对速度以及前车运动状态预测，计算生成碰撞预警信息发送给碰撞报警模块；所述碰撞报警模块用于接收所述数据处理与计算模块输出碰撞的预警信息，并且产生报警信息给驾驶员进行报警提示。 2.根据权利要求1所述的多摄像头的复杂场景自适应车辆碰撞预警装置，其特征在于，所述数据处理与计算模块包括电源模块、编码模块、处理模块和存储模块；所述电源模块用于给所述编码模块、所述处理模块和所述存储模块供电；所述编码模块用于对所述第一摄像头、所述第二摄像头和所述第三摄像头发送的图像信息进行编码处理，并转化成统一的数据格式发送给所述处理模块；所述处理模块用于进行图像处理、车辆检测和跟踪以及碰撞预警方法计算，生成碰撞预警信息发送给碰撞报警模块；所述存储模块用于存放所述处理模块工作中产生的运算数据以及碰撞预警方法代码程序。 3.根据权利要求2所述的多摄像头的复杂场景自适应车辆碰撞预警装置，其特征在于，所述处理模块包括依次连接的摄像头图像采集模块、行驶场景感知模块、车辆检测与跟踪模块和碰撞风险计算模块；所述摄像头图像采集模块用于采集所述编码模块发送的三个摄像头图像信息，进行图像预处理；所述行驶场景感知模块用于接收摄像头图像采集模块实时发送的当前车辆前方图像信息，并且进行场景划分，以及判断车辆当前处于何种行驶场景；所述车辆检测与跟踪模块用于依据所述行驶场景感知模块的输出结果，根据当前车辆行驶场景切换级联分类器，在预设的车辆检测区域内，检测前方所有车辆；所述碰撞风险计算模块用于根据所述车辆检测与跟踪模块发送的目标车辆信息，进行碰撞风险分析，并生成预警信息发送给所述碰撞报警模块。 4.根据权利要求3所述的多摄像头的复杂场景自适应车辆碰撞预警装置，其特征在于，所述碰撞报警模块包括振动报警模块和多媒体报警模块，所述多媒体报警模块包括显示屏和喇叭；所述处理模块分别连接所述振动报警模块和所述多媒体报警模块；所述多媒体报警模块上设有报警方式控制开关，所述报警方式控制开关用于控制所述多媒体报警模块的开启或者关闭。 5.根据权利要求4所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，包括以下步骤： (1)所述多摄像头感知模块将探测到的前方道路和障碍物图像信息传输给所述编码模块； (2)所述编码模块对所述多摄像头感知模块发送的图像信息进行编码处理，并转化成统一的数据格式，发送给所述处理模块中的摄像头图像采集模块； (3)所述摄像头图像采集模块采集所述编码模块发送的多摄像头图像信息，进行图像预处理，包括滤波、降噪和图像格式转换； (4)所述行驶场景感知模块接收所述摄像头图像采集模块实时发送的当前车辆前方图像信息，根据行驶路况与行驶环境的灰度直方图进行场景划分，并根据预设的环境感知算法，判断车辆当前处于何种行驶场景； (5)所述车辆检测与跟踪模块依据所述行驶场景感知模块的输出结果，根据当前车辆行驶场景切换级联分类器，在预设的车辆检测区域内，检测前方所有车辆； (6)所述碰撞风险计算模块根据所述车辆检测与跟踪模块发送的目标车辆信息，进行碰撞风险分析并生成预警信息，发送给所述碰撞报警模块； (7)所述碰撞报警模块根据接收到的预警信息进行相应的报警动作。 6.根据权利要求5所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，在步骤(3)中，所述摄像头图像采集模块将所述多摄像头感知模块发送的RGB格式原始图像转换为灰度图格式。 7.根据权利要求6所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，在步骤(4)中，行驶场景感知模块将多摄像头感知模块的图像进行如下场景感知区域划分：第一场景感知区域：图像中心正上方底边100×500像素区域；第二场景感知区域：图像中心正下方底边100×300像素区域；第三场景感知区域：图像左上方50×300像素区域；第四场景感知区域：图像右上方50×300像素区域；所述行驶场景感知模块实时计算各个场景感知区域的灰度直方图与平均灰度直方图，提取当前场景的场景特征，确定当前车辆的所处的行驶场景。 8.根据权利要求7所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，当前行驶场景的确定过程包括以下步骤： (a)设置第一场景感知区域的平均灰度阈值，对第一场景感知区域的平均灰度直方图和平均灰度阈值进行比较，判断当前路况是白天环境还是夜间环境； (b)当第一场景感知区域判定为白天环境后，由于第二场景感知区域反映地面灰度信息，因此依据第一场景感知区域和第二场景感知区域的平均灰度直方图，联合判断当前路况为强光环境还是弱光环境； (c)通过第一场景感知区域、第三场景感知区域和第四场景感知区域的灰度直方图和平均灰度直方图，联合判断当前路况为普通路况还是特殊路况；若通过第三场景感知区域和第四场景感知区域提取了明暗交替特征，再通过第一场景感知区域排除夜间环境，即确认为特殊路况。 9.根据权利要求8所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，所述车辆检测与跟踪模块的具体工作步骤为： 1)所述车辆检测与跟踪模块根据所述行驶场景感知模块输出的场景分类结果，分别选取出大量车辆图片和非车辆图片作为训练集的正、负样本，并将正、负样本规格化到18×18像素下； 2)分别使用Haar特征对规格化后的每一幅正、负样本进行表征，形成特征向量； 3)对Haar特征形成的特征向量分别构建场景分类弱分类器； 4)利用级联的Adaboost算法对场景弱分类器进行训练，得到对应场景的分类级联车辆检测强分类器； 5)对摄像头获得的当前车辆行驶前方图像数据，将车辆检测区域中各种尺寸、各种位置的子图像输入级联车辆检测强分类器中进行分区域车辆检测：区域一：108×120像素区域，检测尺寸范围18-35像素，步长2像素；区域二：220×144像素区域，检测尺寸范围35-70像素，步长5像素；区域三：380×320像素区域，检测尺寸范围70-140像素，步长10像素；区域四：760×560像素区域，检测尺寸范围140-280像素，步长20像素；区域五：960×720像素区域，检测尺寸范围280-700像素，步长30像素。 6)所述车辆检测与跟踪模块按照区域五、区域四、区域三、区域二、区域一依次循环检测，每次只检测一个区域，并利用包含车辆底部阴影特征、车辆尾部局部对称性特征、车辆尾部轮廓特征和车辆轮胎特征的多特征融合方法来进行车辆检测修正，实现车辆的精确检测和准确跟踪； 7)利用三阶Beizer曲线拟合方式进行前方目标车辆测距，以当前车辆行驶图像数据消失点和底边Y坐标作为曲线端点P0和P3，采用参数设定法构造控制点P1和P2，根据所述候选车辆底部阴影线与消失点的Y方向像素差，计算候选车辆与当前车辆实时距离： Bn(t)＝P0(1-t)3+3P1t(1-t)2+3P2t2(1-t)+P3t3 8)采用方向梯度直方图HOG算法对目标车辆进行实时跟踪，当跟踪目标车辆超越车辆检测区域最大范围时停止跟踪。 10.根据权利要求9所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，所述碰撞风险计算模块包括三个级别的报警，相应的工作过程为： 1)碰撞风险计算模块接收到车辆检测与跟踪模块发送的信息，判断目标车辆是否存在，若存在，则触发一级报警，一级报警为多媒体报警模块中的图像和声音报警提醒； 2)若触发一级报警，则碰撞风险计算模块继续实时计算车距时间THW和相对加速度ACC的值，若THW和ACC的值均小于设定的报警阈值，则触发二级报警，二级报警为振动报警；其中THW的计算公式为： THW＝D/V0 式中，D是目标车和本车的相对距离，由车辆检测与跟踪模块输出，V0是本车的车速，可从车辆的CAN总线上获取；其中ACC的计算公式为： Vt＝(Dt-Dt-1)/t ACC＝(Vt-Vt-1) 式中，下标t和t-1分别代表摄像头输出图像的当前帧时刻和上一帧时刻； 3)若触发二级报警，则碰撞风险计算模块实时计算碰撞时间TTC，TTC为相对距离D和相对速度Vt的比值；若TTC小于设定的报警阈值，则触发三级报警，三级报警为振动报警、图像报警和声音报警同时工作。
所属类别：	发明专利