钢板切割件切缝弱、表面没纹理还压成一堆,6D位姿要靠点云与图像互补,抓取顺序也得排出来
钢板切割下料后,工件直接落进废料筐,等着按规格分拣码盘。同一批里常混着数十种规格,形状相近的件靠人眼分辨本就吃力,堆叠之后更只能一件件翻。混料一旦流进组对工序,就是错装返工,分拣环节因此卡住了整条下料线的产能。
弱特征的本质是信息不足
切割件的难点不在缺陷,在于它几乎没有可供识别的表面信息:切缝微弱、表面无纹理无颜色差异,外形相近的规格件差异只在几个毫米的轮廓细节上,而且还相互压着。传统靠边缘或纹理特征的算法,在这种输入上本来就无从下手。把问题定义成信息不足,解决方向才清楚:不是把算法调得更灵敏,而是补上缺的那部分信息。
两个模态先对齐,再谈融合
方案用高精度 3D 相机同步采集点云与图像,在数据层把两者对齐到同一坐标系,再在特征层融合。顺序不能颠倒:点云和图像各说各的坐标,融合出来的特征就是错位的。对齐之后,点云提供三维几何,图像提供轮廓与表面细节,一种模态被光照或切缝微弱拖累时,另一种还能提供判别依据。
注意力盯的是切缝和边角
特征匹配阶段加入注意力机制,让网络自动给切缝、边角、孔位这类判别性区域加权,抑制反光与纹理干扰。形状相近的规格件,区别往往就在某个边角的一小段轮廓上;算力平均摊到整幅图,这些细节会被稀释。加权还有一个副作用是值得的:它让匹配过程对局部变形更宽容,某个区域形变了,整体识别不至于随之崩掉。
6D 位姿是给机械臂的参数
普通定位给三个位置自由度,机械臂只能走到工件上方;6D 位姿还要给出三个旋转自由度,机械臂才知道以什么角度下爪。对细长件、异形件,朝向错了不是抓不准,是夹不住或者抓起来滑落。位姿估计网络输出的是可被机械臂直接消费的旋转平移参数,中间不再经过人工换算。
抓走一件,剩下的会移位
系统按扫描、抓取、再扫描的循环工作:每抓走一件,筐内剩余工件可能塌落、翻转,下一轮重新扫描更新位姿,不依赖初始状态的静态记忆。同时用点云深度信息区分上下层,避免把被压住的下层件误判成上层目标——这是堆叠场景最容易出的错,抓空一次就要停机处理。
分拣策略优先处理上层无遮挡、位姿置信度高的工件,逐件抓取、逐次更新,直到整筐清空再呼叫下一筐。这个顺序不是图省事:每抓走一件,遮挡关系就变一次,先清掉容易的,被压住的件才会露出来,整体效率反而更高。一开始就去够被压的件,往往要挪动多件。
光照、变形与适用边界
车间顶光叠加地面反光,二维成像容易出现高光与阴影,方案以点云几何为主、图像纹理为辅来弱化光照影响。切割件外轮廓与标准图形有偏差,注意力机制允许匹配在局部变形处放松约束。单件识别定位节拍约 11 秒,具体指标以现场验收结果为准。这套识别栈对光照与表面状态不敏感,也适用于切割后未做表面处理的原始工件,省掉分拣前的清洗预处理。
弱特征识别常被追问的三点
跨模态融合为什么能提升识别?
点云给三维几何,图像给轮廓与细节,两者互补。单一模态在光照差或切缝弱时会失效,另一模态仍能提供判别依据。
和纯模板匹配路线怎么选?
规格少、形状稳定、视野不大时,模板匹配成本更低;规格多、形变明显、还要在堆叠状态下抓取时,6D 位姿与跨模态这条路更稳。
筐里工件压在一起,位姿估计会不会串?
靠点云深度分层,把上下层分开再估位姿;抓取后再扫一次,避免用已经过期的关系去抓下一件。