十米级视野的钢板切割件要亚毫米级定位,多相机拼接出的超大图与点云6D位姿是怎么接力完成的
工程机械与重工行业的钢板下料线上,切割完的平面工件落进废料筐,等着按规格分拣码盘。麻烦在视野:一片筐连同上方的取料空间算下来可达十米级,工件从大板到小件混在一起,尺寸跨度极大。单台相机覆盖这么大的范围,分辨率就被摊薄了;把相机拉近,又看不全。
拼接不是把画面拼起来那么简单
方案用多台工业相机做高精度图像拼接,把各相机画面合成一张超大视场图像。难点不在拼,在拼完之后坐标还是不是一套:每台相机有自己的位姿,拼接要先解出相机之间的相对关系,再把像素位置换算到统一的工件坐标系。这一层没做稳,后面算出的位姿再准也落不到机器人手上——机器人拿着一个“漂亮但偏移”的坐标去抓,抓空是必然的。
先在图里找到件,再回点云里定位姿
系统在超大拼接图上做多尺度目标检测,配合可形变模板匹配把工件框出来,再回到点云里做 6D 位姿估计。两种数据分工明确:图像负责这是哪一件、在哪个大概位置,点云负责它的姿态精确到什么程度。钢板切割件表面特征弱,只靠图像难把相近规格分开;只靠点云又难在十米范围里快速找到候选。分开做,各自都在自己擅长的尺度上工作。
模板要允许变形,否则形变会被当成错料
切割件的外轮廓与标准图形本来就有偏差,热变形、装夹、切割补偿都会带来轮廓差异。模板只认死形状,稍有变形就判不匹配,结果是错料没抓到,正常件倒被反复拦截。可形变模板匹配的意义是允许轮廓在局部伸缩,把形状变了和根本不是这件区分开。这个取舍在弱特征工件上尤其重要:可用的判别信息本来就少,再把正常的形变算成差异,误判会迅速吃掉流程余量。
弱特征靠跨模态补,注意力负责挑地方
点云与图像跨模态融合做特征增强,把三维几何与纹理轮廓放在一起看;注意力机制在匹配阶段自动加权,把判别力集中到切缝、边角这些真正能区分的部位。切割件切缝微弱、表面没有纹理,可用线索本就稀少,让网络学会该看哪里,比让它看全图更有效。
位姿给了机器人,还要解决谁抓哪件
识别定位结果下发给多机器人系统,协同分拣并按规格动态码盘码放。这一层的难点从视觉转到调度:同一筐里多件工件、多台机器人、多个码盘位,抓取顺序与目标盘位要一起规划,否则会出现两台机器人抢同一件,或者码盘顺序乱了需要二次整理。
识别准确率 99% 以上,节拍约 10 秒
识别准确率 99% 以上,参考节拍约 10 秒,具体抓取成功率与连续运行数据以现场测试记录为准。十米级视野下做到亚毫米级定位,靠的是拼接、多尺度检测、可形变匹配与 6D 位姿估计这几步各自不失守;任何一步放宽,最终都会体现为抓空或抓偏。
拼接与位姿,常被问到的几件事
十米级视野只能用拼接吗?
也可以用单台超高像素相机一次覆盖。区别在像素预算:视野越大,单幅图里每个物理尺寸分到的像素越少,弱特征越难保住。拼接是用多台相机的分辨率换视野,代价是多一层坐标标定。
亚毫米级定位对分拣意味着什么?
意味着机械臂可以按算出的位姿直接下爪,不需要先试探性接触再微调。对堆叠、贴边的工件,这个差别直接决定抓取成功率。
换一批不同规格的切割件要改什么?
主要是模板与训练样本。相机布局与拼接标定属于工位资产,一般不随工件变;工件尺寸跨度大到超出现有视野时,才需要调整相机数量与拼接方案。