大模型视觉 · 装配过程监控

发动机曲轴箱
手工装配过程在线监控

俯拍相机盯住曲轴箱工位:正时链条、右箱体合装、机油泵齿轮、定位销与机油泵确认,一步做完才放下一步——漏步、跳步在工位上当场可见。

作者 Leo 实拍视频 + 平台界面

本 篇 要 点

00

项目简介:曲轴箱上的五步装配

项目背景
发动机曲轴箱手工装配工位。作业人员在箱体上依次完成正时链条装配、右箱体合装、机油泵齿轮装配、定位销装配、机油泵确认合箱之后内部件被盖住,漏装、错序很难在本工位回头查。
作业特点
俯拍视角、双手作业、料盘与箱体同框;手套颜色会换,动作幅度大,但关键件到位时的形态差别仍可被分割模型抓住。
项目目标
每一步做没做完当场判定;跳步、漏步在工位上看得见,不放到下游试验或拆箱返修才发现。
系统配置
工位俯拍视频流接入 + 1 台边缘智能体。推理在车间本地完成,视频不出厂。

整条链路只有五个算子,也是本文的主线:

01
视频流相机
俯拍工位画面
02
图像预处理
去噪、增强、归一化
03
语义分割
五类装配目标
04
事件探测
判「这一步做完」
05
状态机
五步齐了才放行
01

关键矛盾:漏步为什么难管

先说清楚这个工位难在哪。三个难点单独看都不致命,叠在一起就把「事后抽检」挡在门外了。

一、合箱之后看不见,代价却算在下游
正时链条、机油泵齿轮、定位销装进曲轴箱之后,右箱体一合就盖住了内部。漏装或错序往往要到后续试验、甚至返修拆箱才暴露——那时候成本远超工位上多确认一秒。所以价值在当场知道,不在事后能查。
二、步骤有先后,不能只判「齐不齐」
这几步不是任意顺序都能凑齐:右箱体合装卡住内部可达性,机油泵确认也落在特定节点。只数「五件都出现过」会放过跳步——必须把「该在哪一步做」写进状态机。
三、手、手套、工具一直在遮挡
画面里最显眼的常常是手套和工具,真正的小件(定位销、齿轮)只在短暂窗口里露全貌。靠固定框或几何测量撑不住现场遮挡;要用少样本分割把「正在装的那一类」认出来,再交给事件层判到位。

三条叠加,方案的形状就出来了:先让模型认出在装哪一类件,再用事件表达「这一步成立」,最后用状态机卡住先后——跳步自环,漏步走不到放行。

02

张量流:一条流拆成三件事

整个配置从这块画布开始。左边算子库里拖出算子,右边连成一条流——这条流只解决三件事:看见判定顺序

📹 视频流相机
俯拍工位接入
🎨 图像预处理
去噪、增强、归一化
🧠 语义分割
五类装配目标
🔍 事件探测
判「做完没有」
🎯 状态机
卡住不放行

拆开的好处在后面几节会反复体现:类别在语义分割里定,判定逻辑在事件探测里搭,先后顺序在状态机里约束。改哪一件,只动对应的那一段,不用回头重训模型。

张量流编辑器:五个算子连成一条流
图 1 张量流编辑器。节点排不下会自动换行,连线沿水平方向出入端口——这是平台原本的画法,没有箭头。
03

语义分割:先认出在装什么

这一节解决「画面里正在交互的是哪一类目标」——后面事件和状态机都建立在这张类别表上。

曲轴箱工位上,手套颜色会换、工具会进出会遮挡,但每一步真正要确认的对象是稳定的。我们按视频里已经跑通的五步,把分割类别定成:

类别它对应画面里的什么
正时链条正时链条装配动作窗口内的链条及相关操作区域
右箱体右箱体合装时被抬起、落位的箱体件
机油泵齿轮机油泵齿轮放入箱体腔位时的齿轮本体
定位销定位销装配时的销件及其装入区域
机油泵机油泵确认步骤中被核对的泵体/安装形态

色块是平台给每个类别分配的掩膜颜色,用来在画面上区分类别,和现场手套颜色不是一回事。

配置动作本身很轻:每类从现场画面截 1–10 张,在标注画布上勾出轮廓,点「迁移」用已标样本训练,数分钟出模型;点「检测」用当前模型回验同一批图。手套换色、角度略变,靠少样本补几张即可继续迭代,不必驻场重训。

语义分割标注界面:左侧检测结果图,右侧同一帧的实线轮廓标注
图 2 语义分割标注界面,画面取自本工位实拍视频。左为检测结果图——彩色掩膜与步骤名由平台画出;右为同一帧的标注轮廓,实线勾边、内部不填色。
04

事件探测:把「看见」翻成「做完」

分割给出的是「画面里有什么」,事件探测把它翻成「现场发生了哪一步」。这一层不碰模型,只搭判定逻辑。

五步各对应一个事件,默认用「物体存在」原语盯住该类目标在关键区域出现并稳定;需要更严时再加面积或「与」条件,不必重训分割:

事件含义主要盯的类别
E0正时链条装配完成正时链条
E1右箱体合装完成右箱体
E2机油泵齿轮装配完成机油泵齿轮
E3定位销装配完成定位销
E4机油泵确认完成机油泵

事件只回答「这一步的成立条件满不满足」,不负责记走到哪一步——先后交给下一节的状态机。以后若工艺在中间插入一步,只需加一个事件和一条转移,分割模型可以不动。

GPU 事件编排器:正在配置右箱体合装事件
图 3 GPU 事件编排器。示例正在配置 E1 右箱体合装完成:用「物体存在」盯住右箱体类别,连线沿水平方向出入端口,没有箭头。
05

状态机:漏一步就走不到放行

事件管「这一步成不成立」,状态机管「这一台走到哪了」。本工位按 SOP 顺序推进,状态机做成一条链。

S0
待装正时链条
收到 E0 → 进入下一步;其余事件自环
S1
待合右箱体
收到 E1 → 进入下一步
S2
待装机油泵齿轮
收到 E2 → 进入下一步
S3
待装定位销
收到 E3 → 进入下一步
S4
待确认机油泵
收到 E4 → 放行;收不到就停在这里
S5
本台完成
工件离位 / 复位后回到 S0 等下一台

约束力在「自环」上:处在 S2 时如果先去装定位销,E3 即使偶发触发也不会推进——状态机只认当前步期望的事件。漏掉任一步,永远走不到 S5,工位上看见的就是进度停在缺的那一环。

换机型或微调手顺时,改状态图和事件清单即可;全过程可以不动分割模型,只换类别名或补几张样本。

状态图编辑器:五步 SOP 构成的推进链
图 4 状态图编辑器。右侧事件张量列出全部事件,状态-动作张量给出状态集合。
规则表编辑器:状态 × 事件的转移矩阵
图 5 同一份配置的另一个视图。每个状态只有对应事件那一格是前进,其余全是自环——「按手顺推进」就是这么落下来的。
06

上线跑:35 秒实拍全过程

下面这段是工位跑起来的真实画面(竖屏俯拍)。彩色掩膜跟踪当前步骤的操作区域,并叠加步骤名称。

00:05正时链条装配
00:13右箱体合装
00:23机油泵齿轮装配
00:27定位销装配
00:32机油泵确认

有个细节值得留意:掩膜颜色随步骤切换——现场不必读报表,屏幕上当前高亮的那一类,就是系统认定正在执行的步骤。进度停在哪一步,缺的就是哪一步。

5 类
语义分割类别
1–10 张
每类起步样本
5 事件 / 6 状态
事件与状态机规模
本地推理
视频不出厂
07

复盘:这套做法的边界在哪

有先后依赖的工位,别只做「齐套计数」

齐套适合顺序自由的插接类工位;曲轴箱这类内部装配,顺序本身就是质量约束。用状态机把期望事件写死,跳步自然被挡在门外。

类别、事件、状态拆开,改型才轻

「在装什么」放在分割类别里,「算不算做完」放在事件原语里,「走到哪了」放在状态机里——三件事各自独立。插一步、调阈值,往往只改配置,不重训模型。

一拖多:一套系统覆盖多工位

算力集中在边缘智能体上,工位只留相机和看板。同一台设备可以同时承载多个工位、多条产线的工作流,每个工位一份自己的类别、事件和状态机配置,互不干扰。

适用边界要说清楚

适合俯拍可见、步骤有短暂清晰窗口的手工装配:链条、合箱、齿轮、销钉、泵体确认。不适合全程被工装完全遮死、镜头里从未出现关键件轮廓的工序——那种情况需要补近景相机或工艺上留出可见节点。

跨场景迁移

同一套底座换个场景,仍然是 1–10 张样本图、数分钟配置。已经跑过的方向:

汽车曲轴箱装配 · 座椅接线 家电整机装配 · 附件包装 3C电脑组装 · 手机盖板 电子元器件缺陷 锂电软包电池 医疗输液配药 · 设备包装

回看整个项目,四个问题贯穿始终:系统看什么、什么样算做完、什么顺序才合法、结果怎样留存。把这四个问题在配置界面上逐一回答清楚,工位就跑起来了。

LEO

Leo

视觉智能架构师 · 工业过程监控方向负责人

计算机视觉方向博士,研究方向为少样本分割与视频行为理解;12 年工业视觉一线经验,累计交付 30+ 条产线、100+ 工位。

主张把过程监控从「一工位一专用模型」迁移到「少样本分割 + 事件编排 + SOP 状态机」,让判定逻辑与感知模型解耦,改手顺不必重训。

当前关注边缘 GPU 推理优化、跨域泛化与现场数据闭环——让同一套配置方式在不同工厂、不同工艺之间可复制。文章记录项目实施中的实际配置、判断逻辑与现场结果。

少样本分割事件编排装配过程监控状态机编排边缘 GPU 推理
一 句 话 总 结

把曲轴箱五步装配拆成「看见 → 做完 → 按序推进」——漏一步、跳一步,都走不到放行。