详情

原文传递基于三维声像传感器的载运工具控制与可视化环境体验

专利名称：	基于三维声像传感器的载运工具控制与可视化环境体验
摘要：	提供一种用于控制载运工具的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；根据所述对象认知信息，计算该载运工具的场景信息；以及根据所述场景信息，确定该载运工具的操作指令。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	睿镞科技(北京)有限责任公司
发明人：	不公告发明人
专利状态：	有效
申请日期：	2019-07-08T00:00:00+0800
发布日期：	2019-09-27T00:00:00+0800
申请号：	CN201910610646.4
公开号：	CN110281950A
代理机构：	北京市柳沈律师事务所
代理人：	侯广
分类号：	B60W50/00(2006.01);B;B60;B60W;B60W50
申请人地址：	100084 北京市海淀区中关村东路1号院8号楼CG05-160号
主权项：	1.一种用于控制载运工具的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；根据所述对象认知信息，计算该载运工具的场景信息；以及根据所述场景信息，确定该载运工具的操作指令。 2.如权利要求1所述的方法，其中所述确定至少两个对象的三维空间位置包括：根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系；以及根据所述对应关系，确定所述至少两个对象的三维空间位置，其中所述至少两个对象中的每一个对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。 3.如权利要求1所述的方法，其中所述至少两个对象包括人和/或物体，所述对象认知信息包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。 4.如权利要求1所述的方法，其中基于深度学习计算所述对象认知信息和所述场景信息中的至少一个，所述对象认知信息包括深度网络中的隐藏层信息。 5.如权利要求4所述的方法，其中使用第一深度网络计算该载运工具外部的对象的对象认知信息，使用第二深度网络计算该载运工具内部的对象的对象认知信息，并使用包含嵌入层的第三深度网络计算所述场景信息。 6.如权利要求1所述的方法，进一步包括预先存储场景信息映射表，所述场景信息映射表包含场景信息与操作指令的映射关系，其中所述确定该载运工具的操作指令包括根据所述场景信息从所述场景信息映射表中选择操作指令。 7.如权利要求6所述的方法，其中所述场景信息包括该载运工具的外部场景信息和内部场景信息的组合。 8.如权利要求1所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号包括三维测距信号和/或二维图像信号。 9.如权利要求8所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。 10.如权利要求8所述的方法，其中至少一组视觉传感器信号包括三维测距信号和二维图像信号。 11.如权利要求1所述的方法，其中所述多个听觉传感器信号包括至少一组外部听觉传感器信号和至少一组内部听觉传感器信号，每组听觉传感器信号包括至少两个麦克风信号。 12.一种用于控制载运工具的装置，包括：处理器；以及存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行如权利要求1-11之一所述的方法。 13.一种载运工具，包括如权利要求12所述的装置。 14.一种用于在载运工具中提供可视化环境体验的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；以及根据所述对象认知信息，再现和处理可视化环境内容。 15.如权利要求14所述的方法，其中所述确定至少两个对象的三维空间位置包括：根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系；以及根据所述对应关系，确定所述至少两个对象的三维空间位置，其中所述至少两个对象中的每一个对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。 16.如权利要求14所述的方法，其中所述至少两个对象包括人和/或物体，所述对象认知信息包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。 17.如权利要求14所述的方法，其中基于深度学习计算所述对象认知信息。 18.如权利要求17所述的方法，其中使用第一深度网络计算该载运工具外部的对象的对象认知信息，使用第二深度网络计算该载运工具内部的对象的对象认知信息。 19.如权利要求14所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号包括三维测距信号和/或二维图像信号。 20.如权利要求19所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。 21.如权利要求19所述的方法，其中至少一组视觉传感器信号包括三维测距信号和二维图像信号。 22.如权利要求14所述的方法，其中所述多个听觉传感器信号包括至少一组外部听觉传感器信号和至少一组内部听觉传感器信号，每组听觉传感器信号包括至少两个麦克风信号。 23.如权利要求14所述的方法，其中所述可视化环境内容包括虚拟现实内容、增强现实内容和/或混合现实内容，所述对象认知信息包含用户以及虚拟对象、现实对象、和/或混合对象之间的交互指令。 24.如权利要求23所述的方法，其中所述可视化环境内容包括车外和车内环境的无缝融合。 25.如权利要求23所述的方法，进一步包括：向至少一个载运工具发送所述对象认知信息；从所述至少一个载运工具接收对象认知信息；以及根据所述对象认知信息和所述接收的对象认知信息，再现和处理在多个载运工具之间共享的可视化环境内容。 26.一种用于在载运工具中提供可视化环境体验的装置，包括：处理器；以及存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行如权利要求14-25之一所述的方法。 27.一种载运工具，包括如权利要求26所述的装置。 28.一种用于载运工具的传感器系统，包括：多个视觉传感器，用于感测该载运工具外部和内部的三维视觉信息；以及多个听觉传感器，用于感测该载运工具外部和内部的三维听觉信息。 29.如权利要求28所述的传感器系统，其中所述多个视觉传感器包括至少一组外部视觉传感器和至少一组内部视觉传感器，每组视觉传感器包括三维测距传感器和/或二维图像传感器。 30.如权利要求29所述的传感器系统，其中所述多个视觉传感器包括至少一组外部视觉传感器和至少两组内部视觉传感器。 31.如权利要求29所述的传感器系统，其中至少一组视觉传感器包括三维测距传感器和二维图像传感器。 32.如权利要求28所述的传感器系统，其中所述多个听觉传感器包括至少一组外部听觉传感器和至少一组内部听觉传感器，每组听觉传感器包括至少两个麦克风。
所属类别：	发明专利