大模型视觉 · 装配过程监控

汽车座椅接线
漏接在线监控落地实践

座椅上的四路接线,先接哪一路都行,但一路都不能少。这篇记录我们怎么把「接没接上」做成模型认得出的类别,让漏接在工位上当场暴露。

作者 Leo 实拍视频 + 平台界面

本 篇 要 点

00

项目简介:座椅上的四路接线

项目背景
汽车座椅装配工位。作业人员把红、黄、绿、蓝四路接线逐一插到座椅本体对应的插座上。漏接、虚接往往要到整车电检才暴露,那时候返修得把座椅整个拆下来。
作业特点
四路接线不约束先后,工人顺手先接哪一路都行;线束颜色相近、排布密集,插好之后很快被骨架和面套盖住。
项目目标
每一路接没接上当场判定;只要还有一路没接,工位上就看得见,不放到下游去发现。
系统配置
工位视频流接入 + 1 台边缘智能体。推理在车间本地完成,视频不出厂。

整条链路只有五个算子,也是本文的主线:

01
视频流相机
工位画面接入
02
图像预处理
去噪、增强、归一化
03
语义分割
五类接线形态
04
事件探测
判「齐不齐」
05
状态机
四路全接上才放行
01

关键矛盾:漏接为什么难管

先说清楚这个工位难在哪。三个难点单独看都不致命,叠在一起就把常规方案挡在门外了。

一、漏接不在工位暴露,代价却算在下游
接线插好之后很快被座椅骨架和面套盖住,工位上再回头看已经看不见了。漏接一路,往往要到整车电检才报出来,严重的甚至到交付以后——那时候返修得把座椅整个拆下来,一次的成本远超工位上多看一眼。所以这件事的价值不在「事后查得出」,而在当场就得知道。
二、顺序不设约束,常规的「卡步骤」用不上
这个工位不规定先接哪一路,工人顺手怎么方便怎么来。过程监控常见的做法是把 SOP 拆成步骤、按顺序卡——在这里直接失效:任何顺序都是合法的。要判的不是顺序对不对,而是最后齐没齐。这一条决定了整套判定逻辑的形状。
三、「接上了」和「没接上」长得太像
卡扣扣合与否,差的只是几毫米的缝隙和一小段露出的端子;四路线束颜色相近、排布密集,还常常互相压着。靠几何测量去量这个缝,现场条件根本撑不住——遮挡、角度、光照任意一样变化,量出来的数就不能用了。

三条叠加,方案的形状就出来了:让模型直接认出「这一路现在是接上的还是没接上的」,再用一个不看顺序的条件判齐不齐。下面几节就是把这两件事分别落到语义分割和事件探测里。

02

张量流:一条流拆成三件事

整个配置从这块画布开始。左边算子库里拖出算子,右边连成一条流——这条流只解决三件事:看见、判定、顺序。

📹 视频流相机
工位画面接入
→
🎨 图像预处理
去噪、增强、归一化
→
🧠 语义分割
五类接线形态
→
🔍 事件探测
判「齐不齐」
→
🎯 状态机
卡住不放行

拆开的好处在后面几节会反复体现:类别在语义分割里定,判定逻辑在事件探测里搭,先后顺序在状态机里约束。改哪一件,只动对应的那一段,不用回头重训模型。

张量流编辑器:五个算子连成一条流
图 1 张量流编辑器。节点排不下会自动换行,连线沿水平方向出入端口——这是平台原本的画法,没有箭头。
03

语义分割:把状态做成类别

这一节是整个方案里最关键的一次取舍。

常规做法会先分割出接线端子,再想办法量它有没有插到底。我们换了个思路:直接把「已连」和「未连」当成两种不同的东西来认。因为对模型来说,扣合到位的接线和没插到底的接线,本来就是两种可以分辨的形态——护套压平、端子收进去、卡扣咬合,这些是看得见的差别,不需要先测量再判断。

于是类别表就成了这样,一共五类:

类别它对应画面里的什么
红线已连红线那一路接线扣合到位的形态
黄线已连黄线那一路接线扣合到位的形态
绿线已连绿线那一路接线扣合到位的形态
蓝线已连蓝线那一路接线扣合到位的形态
存在未连任意一路没插到底的形态:端子外露、护套留缝

色块是平台给每个类别分配的掩膜颜色,用来在画面上区分类别,和线束本身的颜色不是一回事。

这张表值得多看一眼,因为它把后面两节的难题提前解决了。「已连」按线路分成四类,而「未连」只用一类:这样一来,四路各自接没接上,直接从类别里读;而「还有没接的」这件事,也只是看某一类在不在。状态被写进了类别本身,判定就不必再回头做测量。

配置动作本身很轻:每类从现场画面截 1–10 张,在标注画布上勾出轮廓,点「迁移」用已标样本训练,数分钟出模型;点「检测」用当前模型回验同一批图,看漏标和误标。不满意就补几张再来一轮。

语义分割标注界面:左侧标注画布,右侧检测结果图
图 2 语义分割标注界面,画面取自本工位实拍视频。左为标注画布(这一帧还没落笔),右为检测结果图,彩色掩膜与类别名由平台画出。
04

事件探测:用一个「与」判齐不齐

分割给出的是「画面里有什么」,事件探测把它翻成「现场发生了什么」。这一层不碰模型,只搭判定逻辑。

因为顺序不做要求,这个工位不需要给每一路各配一个「到位」事件去卡步骤。真正要判的只有一句话:四路都接上了没有。它拆成两个都得成立的条件,用「与 (AND)」串起来:

条件用哪个原语怎么判
四路都在数量检测四类「已连」在画面里合计 = 4
没有漏的物体不存在「存在未连」这一类一个都不剩

两条各自补住对方的漏洞。只用计数,四路都被遮住时会误判成「一个未连也没有」;只用「不存在未连」,接线还没开始的空工位也会满足。合起来就既不看顺序,也不会把「没做」当成「做完」。

这样搭还有个直接好处:以后座椅多加一路接线,只要把数量检测的合计数从 4 改成 5,其余一律不动。参数只影响判定,不动分割模型。

GPU 事件编排器:数量检测与物体不存在两个原语用「与」汇合
图 3 GPU 事件编排器,正在配置的是 E1 四路接妥。两个原语的输出汇进「与 (AND)」,连线沿水平方向出入端口,没有箭头。
05

状态机:少一路就走不到放行

事件管「现在齐不齐」,状态机管「这一台走到哪了」。因为顺序不做约束,状态机做得很薄,只有三个状态。

S0
待接
收到 E0 出现未连 → 座椅进入工位,开始接线
S1
接线中
收到 E1 四路接妥 → 放行;收不到就一直停在这里
S2
接妥放行
收到 E2 工位复位 → 本台闭环,回到 S0 等下一台

顺序自由就体现在 S1 上:这个状态没有分支。先接红线还是先接蓝线,中途停下来去拿工具,甚至拔掉重插,都只是在 S1 里自环——状态机根本不关心过程长什么样。它只等一件事:E1 成立。

约束力也就在这里:少接一路,数量凑不到 4,「存在未连」也还留在画面上,E1 永远不成立,状态就停在「接线中」,走不到放行。工位上看到的就是这一路始终标着红色的「未连」。

改型的成本因此很低:多一路接线,把 E1 里数量检测的合计数从 4 改成 5,状态机原样不动;换座椅型号只改类别名。全过程不动分割模型。

状态图编辑器:三个状态构成的闭环
图 4 状态图编辑器。右侧事件张量列出全部事件,状态-动作张量给出状态集合。
规则表编辑器:状态 × 事件的转移矩阵
图 5 同一份配置的另一个视图。每个状态只有一格是前进,其余全是自环——「等齐了再走」这条规则就是这么落下来的。
06

上线跑:48 秒实拍全过程

下面这段是工位跑起来的真实画面。红色掩膜是「存在未连」,接上之后各路换成自己的颜色并标注「已连」。

00:02三处红色「存在未连」
00:06两路接上,掩膜转色
00:10余下两路接上,红色消退
00:38两组接线复看,四路全绿

有个细节值得留意:一路接上之后,它的掩膜会立刻从红色切到本路颜色。这意味着现场不需要看数值、不需要等结果页,屏幕上还剩几块红的,就还剩几路没接——判定结果本身就是给工人看的提示。

5 类
语义分割类别
1–10 张
每类起步样本
3 事件 / 3 状态
事件与状态机规模
本地推理
视频不出厂
07

复盘:这套做法的边界在哪

顺序自由的工位,别硬套「按步骤卡」

过程监控的默认打法是把 SOP 拆成步骤、按顺序推进,但那要求作业顺序本身是确定的。顺序自由的工位得换一种表达:把要求写成一个不看过程的终态条件,让状态机只负责等它成立。判定逻辑因此反而更简单,也更经得住现场的各种做法。

状态放进类别里,改型才不用重训

「接没接上」放在分割类别里,「齐不齐」放在两个原语的「与」里,「走到哪了」放在状态机里——三件事各自独立。所以多一路接线只改一个数字、换座椅型号只改类别名,分割模型原地不动。

一拖多:一套系统覆盖多工位

算力集中在边缘智能体上,工位只留相机和看板。同一台设备可以同时承载多个工位、多条产线的工作流,每个工位一份自己的类别、事件和状态机配置,互不干扰。

适用边界要说清楚

适合形态上能看出差别的装配状态:接线插接、卡扣、锁止、贴装到位与否。不适合插完立刻被盖板压住、全程没有可见时刻的连接,那种情况需要工艺配合留出一个可见节点,或者补一路近景相机。

跨场景迁移

同一套底座换个场景,仍然是 1–10 张样本图、数分钟配置。已经跑过的方向:

汽车座椅接线 · 齿轮装配 家电整机装配 · 附件包装 3C电脑组装 · 手机盖板 电子元器件缺陷 锂电软包电池 医疗输液配药 · 设备包装

回看整个项目,四个问题贯穿始终:系统看什么、什么样算接上了、什么情况算漏接、结果怎样留存。把这四个问题在配置界面上逐一回答清楚,工位就跑起来了。

LEO

Leo

视觉智能架构师 · 工业过程监控方向负责人

计算机视觉方向博士,研究方向为少样本分割与视频行为理解;12 年工业视觉一线经验,累计交付 30+ 条产线、100+ 工位。

主张把过程监控从「一工位一专用模型」迁移到「少样本分割 + 事件编排 + SOP 状态机」,让判定逻辑与感知模型解耦,改手顺不必重训。

当前关注边缘 GPU 推理优化、跨域泛化与现场数据闭环——让同一套配置方式在不同工厂、不同工艺之间可复制。文章记录项目实施中的实际配置、判断逻辑与现场结果。

少样本分割事件编排装配过程监控状态机编排边缘 GPU 推理
一 句 话 总 结

把「接没接上」做成模型认得出的形态,再用一个不看顺序的条件判齐不齐——工人怎么接都行,少一路就走不到放行。