详情

原文传递自主驾驶中交通动态与道路变化的检测

专利名称：	自主驾驶中交通动态与道路变化的检测
摘要：	在一些实施例中，所公开的主题涉及用于与自主车辆一起使用的动态物体标识和环境变化的系统和方法。为了有效地检测自主车辆或部分自主车辆的变化，实施例可以使用基于背景移除和图像相减的技术，这些实施例使用运动检测而不是对图像中的所有物体的完全物体标识。靠近路段的路测单元或云中的虚拟路侧单元、其他车辆或移动设备(例如，无人机)被用于检取和存储路段的背景图像，以由自主车辆使用。描述并要求保护其他实施例。
专利类型：	发明专利
国家地区组织代码：	美国;US
申请人：	英特尔公司
发明人：	I·塔托里安;J·赞德;R·H·沃海比
专利状态：	有效
申请日期：	2017-11-29T00:00:00+0800
发布日期：	2019-07-30T00:00:00+0800
申请号：	CN201780076534.4
公开号：	CN110072749A
代理机构：	上海专利商标事务所有限公司
代理人：	黄嵩泉;钱慰民
分类号：	B60W30/08(2012.01);B;B60;B60W;B60W30
申请人地址：	美国加利福尼亚州
主权项：	1.一种用于检测和避免道路危险的系统，包括：图像帧比较器，用于接收背景图像模板，并将所述背景图像模板与多个收集的图像帧中的至少一个进行比较，并进一步用于从所述收集的图像帧分离前景图像和背景图像，其中所述背景图像模板从路侧单元接收，其中所述背景图像模板对应于车辆要在其上行进的路段；以及车辆上的车辆操纵控制器，用于分析所述前景图像以标识道路上的危险以供避开。 2.如权利要求1所述的系统，进一步包括图像收集系统，所述图像收集系统在操作中时通信地耦合到车辆，所述图像收集系统包括相机并且被布置成用于收集所述多个图像帧。 3.如权利要求1所述的系统，其特征在于，所述路侧单元是从由以下组成的组中选择的设备：靠近所述路段的路侧单元，以及在操作时与所述车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、无人机或移动设备中的一者上的虚拟路侧单元。 4.如权利要求1-3中任一项所述的系统，其特征在于，所述系统进一步包括：图像转发设备，用于将背景图像或前景图像中的至少一者转发到所述路侧单元。 5.如权利要求1-3中任一项所述的系统，其特征在于，为了使前景图像和背景图像分离，所述图像帧比较器用于使所述收集的帧与所述背景图像模板对齐，并且其中，所述图像帧比较器进一步用于标识与所述前景图像中的前景物体相对应的运动矢量。 6.如权利要求1所述的系统，其特征在于，所述背景图像模板是从路侧单元、虚拟路侧单元、或耦合到所述车辆上的所述图像帧比较器的背景图像模板生成器中的一者接收的，其中所述背景图像模板生成器被布置成用于使用由所述图像收集系统收集的图像来生成新的背景图像模板。 7.如权利要求6所述的系统，其特征在于，所述背景图像模板生成器用于在没有可用的背景图像模板能从所述路侧单元或从所述虚拟路侧单元获得时操作。 8.如权利要求1所述的系统，其特征在于，所述车辆操纵控制器进一步用于响应于所述前景物体的标识来调整车辆速度。 9.如权利要求1所述的系统，其特征在于，所述车辆操纵控制器进一步用于响应于从所述路侧单元和网络上的交通管理系统中的一者接收的警报来调整车辆速度。 10.一种用于辅助管理路段中的交通的路侧单元，包括：图像模板控制器，用于发送和接收与所述路段对应的图像；图像模板数据库，当在操作中时，所述图像模板数据库耦合到所述图像模板控制器以存储与所述路段对应的图像，所述图像包括背景图像和前景图像，其中所述图像模板控制器用于从以下中的至少一者中接收与所述路段对应的所述图像：在所述路段中行进的车辆、另一个路侧单元、虚拟路侧单元、无人机或其他移动图像收集设备；图像帧比较器，用于比较与所述路段对应的图像帧中的至少两个，所述比较用于使用减法从图像帧进一步分离前景图像与背景图像，并用于从所述图像帧中移除前景物体以生成与所述路段对应的背景图像模板，所述背景图像模板用于存储在所述图像模板数据库中。 11.如权利要求10所述的路侧单元，进一步包括：音频收集系统，用于捕获与所述路段对应的音频信息，并通信地耦合到音频数据库以存储目标声音的音频样本；音频分析组件，用于将所捕获的音频信号与所述音频样本进行比较，以标识目标声音的暂时存在；以及警报设备，用于发送所述目标声音存在于所述路段中的通知。 12.如权利要求10-11中任一项所述的路侧单元，其特征在于，所述路侧单元是从由以下组成的组中选择的设备：靠近所述路段的路侧单元，以及在操作时与车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、无人机或移动设备中的一者上的虚拟路侧单元。 13.如权利要求10-11中任一项所述的路侧单元，其特征在于，当在操作中时，所述路侧单元与至少一个其他路侧单元通信以协调背景图像模板。 14.如权利要求12所述的路侧单元，进一步包括：警报设备，用于从所分离的前景图像中标识道路危险物体，并用于发送已经标识道路危险物体的通知。 15.如权利要求14所述的路侧单元，其特征在于，所述通知要被发送到以下中的至少一者：在所述路段中行进的车辆、另一个路侧单元、虚拟路侧单元、无人机或其他移动图像收集设备。 16.一种用于检测路段上的物体的计算机实现的方法，包括：接收对应于路段的图像帧，所述图像帧已经由通信地耦合到车辆的相机组件所捕获；由所述车辆上计算设备接收背景图像帧；使所述背景图像帧与对应于路段的所捕获的图像帧对齐；将所述所捕获的图像帧的背景部分和前景部分分离，其中所述前景部分包括所述所捕获的图像中的移动物体和临时物体，并且所述背景部分包括所述所捕获的图像中的稳定或通常不变的物体；标识所述前景部分中的物体的运动矢量并将属性分配给所述物体；将关于所述前景部分的包括所述物体的所分配的属性的信息提供给所述车辆中的操纵控制器，以辅助确定所述车辆是否要基于所接收的信息调整操纵。 17.如权利要求16所述的方法，进一步包括：将所述所捕获的图像帧的所述背景部分发送到路侧单元设备。 18.如权利要求16所述的方法，其特征在于，所述背景图像帧是从靠近所述路段的路侧单元、以及虚拟路侧单元中的至少一者中接收的，所述虚拟路侧单元在操作时与所述车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、或无人机或其它移动设备中的一者上。 19.如权利要求16所述的方法，其特征在于，所述接收背景图像帧进一步包括：从所述车辆上的数据存储中检取至少两个捕获的图像帧；从所述至少两个捕获的图像帧的比较生成本地背景图像帧；以及当所述背景图像帧不能从除了所述车辆上的组件之外的源获得时，使用所述本地背景图像帧作为所述背景图像帧。 20.如权利要求19所述的方法，进一步包括：将所述所捕获的图像帧的所述背景部分发送到路侧单元设备，其中所述背景部分使用所述本地背景图像帧作为模板。 21.一种用于检测交通动态的系统，包括用于执行权利要求16-20中任一项所述的方法的装置。 22.至少一种计算机可读存储介质，其上存储有指令，所述指令当在处理器上被执行时，使所述处理器执行权利要求16-20中任一项所述的方法。 23.一种检测交通动态的系统，包括：用于捕获对应于路段的图像帧的装置；用于接收背景图像帧的装置；用于使所述背景图像帧与对应于路段的所捕获的图像帧对齐的装置；用于将所述所捕获的图像帧的背景部分和前景部分分离的装置，其中所述前景部分包括所述所捕获的图像中的移动物体和临时物体，并且所述背景部分包括所述所捕获的图像中的稳定或通常不变的物体；用于标识所述前景部分中的物体的运动矢量并将属性分配给所述物体的装置；用于将关于所述前景部分的包括所述物体的所分配的属性的信息提供给所述车辆中的操纵控制器，以辅助确定所述车辆是否要基于所接收的信息调整操纵的装置。 24.如权利要求23所述的系统，进一步包括用于将所述所捕获的图像帧的所述背景部分发送到路侧单元设备的装置。 25.如权利要求23所述的系统，其特征在于，所述背景图像帧是从靠近所述路段的路侧单元、以及虚拟路侧单元中的至少一者中接收的，所述虚拟路侧单元在操作时与所述车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、或无人机或其它移动设备中的一者上。 26.如权利要求23所述的系统，其特征在于，所述接收背景图像帧进一步包括：用于从所述车辆上的数据存储中检取至少两个捕获的图像帧的装置；用于从所述至少两个捕获的图像帧的比较生成本地背景图像帧的装置；以及用于当所述背景图像帧不能从除了所述车辆上的组件之外的源获得时，使用所述本地背景图像帧作为所述背景图像帧的装置。 27.如权利要求26所述的系统，进一步包括用于将所述所捕获的图像帧的所述背景部分发送到路侧单元设备的装置，其中所述背景部分使用所述本地背景图像帧作为模板。
所属类别：	发明专利