详情

原文传递面向冶金机器人接插的仓架目标视觉识别定位方法和系统

专利名称：	面向冶金机器人接插的仓架目标视觉识别定位方法和系统
摘要：	本发明提供了一种面向冶金机器人接插的仓架目标视觉识别定位方法和系统，首先标定仓架定位码和仓架的相对关系、仓架和视觉传感器的相对关系和视觉传感器的内外参，通过检测仓架上定位码获得物料槽区域在图像平面的坐标范围作为感兴趣区域，视觉识别定位算法在该感兴趣区域进行图像预处理及目标搜索，对于仓架前方视觉系统，目标特征提取算法为无参数输入圆及椭圆特征检测算法，对于仓架上方视觉系统，目标特征提取算法为无参数输入线特征检测算法。采用无参数输入目标检测算法考虑到高温作业环境背景光线变化的干扰，提高目标检测的鲁棒性，从而提高冶金机器人作业鲁棒性。
专利类型：	发明专利
国家地区组织代码：	上海;31
申请人：	上海交通大学
发明人：	陈卫东;刘卫平;王贺升
专利状态：	有效
申请日期：	2019-01-03T00:00:00+0800
发布日期：	2019-06-21T00:00:00+0800
申请号：	CN201910005317.7
公开号：	CN109911481A
代理机构：	上海汉声知识产权代理有限公司
代理人：	庄文莉
分类号：	B65G1/04(2006.01);B;B65;B65G;B65G1
申请人地址：	200240 上海市闵行区东川路800号
主权项：	1.一种面向冶金机器人接插的仓架目标视觉识别定位方法，其特征在于，通过多视觉传感器和定位码对目标仓架进行粗定位，得到感兴趣区域，对感兴趣区域分别采用无参数输入目标特征检测、目标特征拟合，进行精细定位，得到目标特征信息传递给冶金机器人进行接插作业。 2.根据权利要求1所述的面向冶金机器人接插的仓架目标视觉识别定位方法，其特征在于，包括以下步骤：仓架设置步骤：设置具有多层错位结构的仓架，所述仓架的上方设置有第一视觉传感器，所述仓架的前方设置有第二视觉传感器，在第一视觉传感器的图像采样范围内，所述仓架的物料槽不会出现目标重叠遮挡现象，仓架的物料槽中放置测温取样器，第一视觉传感器能够获得每个测温取样器的完整特征；定位码设置步骤：在仓架的正前方和上方分别布置设定数量的定位码，所述定位码与仓架、物料槽之间的相对位置固定，定位码位于所述第二视觉传感器的图像采样范围内；标定步骤：标定第一视觉传感器、第二视觉传感器与仓架之间的相对关系，所述相对关系包括第一视觉传感器与仓架上方之间的第一相对关系，也包括第二视觉传感器与仓架前方的第二相对关系，基于第一相对关系和第二相对关系，对相机的内外参进行标定；数据采样步骤：通过第一视觉传感器、第二视觉传感器，对仓架的上方和前方分别进行图像采样，得到第一初始图像、第二初始图像；图像处理步骤：分别对第一初始图像、第二初始图像进行图像处理，识别出定位码，获得定位码在图像坐标系下的位置，通过定位码和仓架、物料槽之间的结构关系，获得各个物料槽在图像坐标系下的区域，将所述区域记为感兴趣区域，基于感兴趣区域进行精细定位处理，得到第一边缘图、第二边缘图；特征拟合步骤：分别对第一边缘图、第二边缘图采用无参数输入目标特征检测，将得到的初始特征进行目标特征拟合，得到测温取样器的目标特征信息；提取位姿步骤：将目标特征信息中在图像坐标系下的坐标信息转换为仓架坐标系下的坐标信息，获取测温取样器在仓架坐标系下的位姿，将所述位姿传递至冶金机器人。 3.根据权利要求2所述的面向冶金机器人接插的仓架目标视觉识别定位方法，其特征在于，所述标定步骤包括：相对关系标定步骤：根据仓架中的一个顶点建立仓架坐标系，确定定位码在仓架中的位置，并记录定位码坐标，通过第一视觉传感器、第二视觉传感器分别采集包括所述定位码的仓架上方数据和仓架前方数据，基于仓架上方数据和仓架前方数据，确定相机和定位码之间的位姿，通过定位码坐标，计算得到仓架和相机之间的相对关系；相机内参标定步骤：定义相机坐标系OC，采用张正友标定法进行相机内参标定；相机外参标定步骤：定义机器人坐标系OR，对相机外参进行标定，获取相机坐标系相对于机器人坐标系的齐次变换矩阵 4.根据权利要求2所述的面向冶金机器人接插的仓架目标视觉识别定位方法，其特征在于，所述图像处理步骤包括：目标粗定位步骤：将感兴趣区域作为掩码，对初始图像截取感兴趣区域的图像作为实际处理数据，以减少计算量和背景噪声干扰，所述初始图像是视觉传感器采集输入的原始图像；颜色信息提取步骤：通过提取RGB颜色空间图像的颜色特征和HSV颜色空间图像的颜色特征进行加权获得颜色提取数据；灰度变换步骤：对颜色提取数据进行灰度变换得到灰度图；噪声抑制步骤：将灰度图进行高斯滤波抑制噪声干扰，得到滤波后图像；图像缩放步骤：将滤波后图像进行缩放变换处理，消除锯齿效应，得到缩放灰度图；梯度边缘计算步骤：对缩放灰度图进行计算，得到图像梯度图、边缘方向场图，所述图像梯度图采用2×2梯度算子进行计算，所述边缘方向场图通过比较水平方向和垂直方向梯度大小确定；阈值计算步骤：采用无参数特征提取进行梯度抑制阈值的确认，所述梯度抑制阈值通过采用局部图像梯度直方图中的梯度值乘以预调常系数计算得到，将图像梯度图中过滤小于所述梯度抑制阈值，得到滤波后梯度图；边缘关键点提取步骤：将滤波后梯度图按照梯度值从大到小排序，所述从大到小的梯度顺序的点值作为边缘关键点；连接边缘关键点步骤：通过边缘关键点检索对应的边缘方向场图，基于边缘方向场图进行边缘区域生长，以连接全部的边缘关键点，得到边缘图；非极大值抑制步骤：应用非极大值抑制算法对边缘图进行抑制，筛选长度最长的边缘，得到最终边缘图。 5.根据权利要求2所述的面向冶金机器人接插的仓架目标视觉识别定位方法，其特征在于，所述多层错位结构中，每一层物料槽之间间距相同，层与层之间的错位方向一致且错位偏移间距一致，物料槽之间通过编号进行区分。 6.根据权利要求2所述的面向冶金机器人接插的仓架目标视觉识别定位方法，其特征在于，所述特征拟合步骤中，目标特征拟合采用椭圆拟合或者线拟合，以获得目标特征在图像坐标系的精确定位。 7.一种面向冶金机器人接插的仓架目标视觉识别定位系统，其特征在于，包括以下模块：仓架设置模块：设置具有多层错位结构的仓架，所述仓架的上方设置有第一视觉传感器，所述仓架的前方设置有第二视觉传感器，在第一视觉传感器的图像采样范围内，所述仓架的物料槽不会出现目标重叠遮挡现象，仓架的物料槽中放置测温取样器，第一视觉传感器能够获得每个测温取样器的完整特征；定位码设置模块：在仓架的正前方和上方分别布置设定数量的定位码，所述定位码与仓架、物料槽之间的相对位置固定，定位码位于所述第二视觉传感器的图像采样范围内；标定模块：标定第一视觉传感器、第二视觉传感器与仓架之间的相对关系，所述相对关系包括第一视觉传感器与仓架上方之间的第一相对关系，也包括第二视觉传感器与仓架前方的第二相对关系，基于第一相对关系和第二相对关系，对相机的内外参进行标定；数据采样模块：通过第一视觉传感器、第二视觉传感器，对仓架的上方和前方分别进行图像采样，得到第一初始图像、第二初始图像；图像处理模块：分别对第一初始图像、第二初始图像进行图像处理，识别出定位码，获得定位码在图像坐标系下的位置，通过定位码和仓架、物料槽之间的结构关系，获得各个物料槽在图像坐标系下的区域，将所述区域记为感兴趣区域，基于感兴趣区域进行精细定位处理，得到第一边缘图、第二边缘图；特征拟合模块：分别对第一边缘图、第二边缘图采用无参数输入目标特征检测，将得到的初始特征进行目标特征拟合，得到测温取样器的目标特征信息；提取位姿模块：将目标特征信息中在图像坐标系下的坐标信息转换为仓架坐标系下的坐标信息，获取测温取样器在仓架坐标系下的位姿，将所述位姿传递至冶金机器人。 8.根据权利要求7所述的面向冶金机器人接插的仓架目标视觉识别定位系统，其特征在于，所述标定模块包括：相对关系标定模块：根据仓架中的一个顶点建立仓架坐标系，确定定位码在仓架中的位置，并记录定位码坐标，通过第一视觉传感器、第二视觉传感器分别采集包括所述定位码的仓架上方数据和仓架前方数据，基于仓架上方数据和仓架前方数据，确定相机和定位码之间的位姿，通过定位码坐标，计算得到仓架和相机之间的相对关系；相机内参标定模块：定义相机坐标系OC，采用张正友标定法进行相机内参标定；相机外参标定模块：定义机器人坐标系OR，对相机外参进行标定，获取相机坐标系相对于机器人坐标系的齐次变换矩阵 9.根据权利要求7所述的面向冶金机器人接插的仓架目标视觉识别定位系统，其特征在于，所述图像处理模块包括：目标粗定位模块：将感兴趣区域作为掩码，对初始图像截取感兴趣区域的图像作为实际处理数据，以减少计算量和背景噪声干扰，所述初始图像是视觉传感器采集输入的原始图像；颜色信息提取模块：通过提取RGB颜色空间图像的颜色特征和HSV颜色空间图像的颜色特征进行加权获得颜色提取数据；灰度变换模块：对颜色提取数据进行灰度变换得到灰度图；噪声抑制模块：将灰度图进行高斯滤波抑制噪声干扰，得到滤波后图像；图像缩放模块：将滤波后图像进行缩放变换处理，消除锯齿效应，得到缩放灰度图；梯度边缘计算模块：对缩放灰度图进行计算，得到图像梯度图、边缘方向场图，所述图像梯度图采用2×2梯度算子进行计算，所述边缘方向场图通过比较水平方向和垂直方向梯度大小确定；阈值计算模块：采用无参数特征提取进行梯度抑制阈值的确认，所述梯度抑制阈值通过采用局部图像梯度直方图中的梯度值乘以预调常系数计算得到，将图像梯度图中过滤小于所述梯度抑制阈值，得到滤波后梯度图；边缘关键点提取模块：将滤波后梯度图按照梯度值从大到小排序，所述从大到小的梯度顺序的点值作为边缘关键点；连接边缘关键点模块：通过边缘关键点检索对应的边缘方向场图，基于边缘方向场图进行边缘区域生长，以连接全部的边缘关键点，得到边缘图；非极大值抑制模块：应用非极大值抑制算法对边缘图进行抑制，筛选长度最长的边缘，得到最终边缘图。
所属类别：	发明专利