LINGBANG · VisionAgent 汽车配件过程监控 · 6 步 SOP · 阅读约 6 分钟 EN
现场落地实录

汽车配件
过程监控

装配工位上,从主件上位、装工件一 / 二 / 三、螺钉紧固到卡扣与线束连接——把「每一步是否装齐」变成可识别、可推进、可拦截的视觉规则。漏装一个工件、少打一颗螺钉,都要当场拦住。

6 步装配 SOP 状态图 S0–S6 参数配置 / NG 统计 零代码编排
汽车配件装配现场工位
现场实拍
骨架工位 · 多工件装配 · AI 分割掩膜

汽车内饰 / 结构件装配线,难的不是「拍清楚一个骨架」,而是让每一件都按同一套顺序装完:主件上位、装工件一 / 二 / 三、螺钉紧固、卡扣与线束连接,最后终检放行——漏装一个工件或少打一颗螺钉,都要当场拦住。

本文依据真实装配过程监控视频与 VisionAgent 操作界面,按现场场景 → 工序时间线 → 工作流 / 事件 / 状态机 / 参数页 → 运行看板展开。界面截图按产品真实控件与文案样式绘制,内容对齐视频中的装配动作。

01

视频里的真实装配工位

竖拍镜头对准夹具上的黑色注塑骨架总成:操作工(红格工装)双手把工件逐个装到主骨架上,并用电动螺丝刀紧固螺钉、连接卡扣与线束。视觉系统用青色语义分割掩膜勾出目标件,并用红字标注「工件三」等;背景是料架、气动管路与治具——这就是汽车配件过程监控要落地的现场。

装配现场帧

▲ 现场:AI 分割掩膜标出「工件三」,装配中

螺钉紧固帧

▲ 现场:电动螺丝刀紧固螺钉

02

六道工序:每一步在查什么

运行清单与状态图事件张量一致,按视频真实动作共六道顺序工序:

E0主件上位到位
E1装配工件一
E2装配工件二
E3装配工件三
E4螺钉紧固
E5卡扣 / 线束连接

装配漏项比外观瑕疵更贵

少装一个工件、少打一颗螺钉或漏接一处线束,往往到整车装配或客户端才暴露。过程监控要把「顺序 + 存在性 + 数量」锁死在产线侧。

03

工作流:五算子张量流

FLOW

拖拉拽搭出检测链路

算子库 · 零代码

新建项目「汽车配件装配」,从左侧算子库拖出并连接(与真实画布一致):

工业相机 图像预处理 语义分割 事件探测 状态机
工业相机
对准装配工位,覆盖主骨架与双手操作区;支持多通道 / RTSP。
图像预处理
去噪、增强,稳定黑色注塑件的低反差纹理。
语义分割
分割主件与工件一 / 二 / 三、螺钉、卡扣、线束等目标。
事件探测
把分割结果变成 E0–E5 标准事件。
状态机
按装配顺序推进 S0→S6,输出终检放行 / 漏项拦截。
VisionAgent · 张量流画布 — 汽车配件装配已连接 5 算子
算子库
工业相机
图像预处理
语义分割
目标检测
事件探测
状态机
CAM
工业相机对准工位
PRE
图像预处理去噪增强
SEG
语义分割工件一/二/三
EVT
事件探测E0–E5
FSM
状态机S0→S6

▲ 张量流画布:工业相机 → 预处理 → 语义分割 → 事件探测 → 状态机(真实操作页样式)

工艺人员看得懂流程图,改步骤不必改代码。
04

编排事件:GPU 事件编排器

EVENT

把「装配工件三」变成标准信号

原语库 · 物体存在

打开「GPU事件编排器」,顶部显示「正在配置事件:装配工件三」。从原语库拖入「物体存在」:

  • 右侧状态机列表:E0 主件上位、E1 装工件一、E2 装工件二、E3 装工件三、E4 螺钉紧固、E5 卡扣/线束……未配齐的步骤显示「待配置」;
  • 漏装类步骤可挂「物体不存在」或数量原语,驱动拦截分支。
GPU事件编排器 — 正在配置事件:装配工件三原语 · 物体存在
原语库
物体存在
物体不存在
数量 = N
位置约束
停留时长
状态机事件列表
E0主件上位到位已配置
E1装配工件一已配置
E2装配工件二已配置
E3装配工件三配置中…
E4螺钉紧固待配置
E5卡扣 / 线束连接待配置

▲ GPU事件编排器:配置事件「装配工件三」= 原语「物体存在」(真实操作页样式)

识别结果封装成事件,状态机与运行清单直接订阅。
05

状态机:S0–S6 环形工序图

FSM

状态图编辑器锁定顺序

事件张量 E ∈ R⁷
  • S0 等待主件 —E0 上位→ S1 等工件一 —E1→ S2 等工件二 —E2→ S3 等工件三 —E3→ S4 等紧固 —E4→ S5 等连接 —E5→ S6 放行
  • E5 连接完成 后回到 S0,形成一件一循环;
  • 右侧事件张量列出 EØ 空事件与 E0–E5 装配事件;状态-动作张量同步维护。
状态图编辑器 — 汽车配件装配环形状态机S0–S6
E0 E1 E2 E3 E4 E5 复位 S0 等待主件 S1 等工件一 S2 等工件二 S3 等工件三 S4 等紧固 S5 等连接 S6 放行
事件张量 E
空事件 / 无动作
E0主件上位到位
E1工件一装配
E2工件二装配
E3工件三装配
E4螺钉紧固到位
E5卡扣 / 线束连接

▲ 状态图编辑器:汽车配件装配环形状态机 S0–S6(真实操作页样式)

SOP 顺序由状态图强制约束,跳步与漏步当场可见。
06

相机与页面参数配置

PARAMS

缺陷类型 / 显示参数

参数配置 · 页面参数

打开「参数配置」,切换到页面参数页签。左侧「缺陷统计」与装配工序对齐,便于按 NG 类型统计漏项:

  • 表列:缺陷类型(NG0…NG5)、缺陷名称(主件漏放、工件一漏装、工件二漏装、工件三漏装、螺钉漏打、卡扣未接)、数量
  • 可「添加 / 删除缺陷类型」;右侧即时编辑名称与描述,点「保存参数」整体生效;
  • 检测结果显示:显示涂抹开、显示缺陷名称开、字体大小 40、线宽 2——与现场分割掩膜观感一致;
  • 相机侧在张量流「工业相机」节点配置通道、曝光与 ROI,保证装配工位全框入镜。
参数配置 · 页面参数保存参数
缺陷类型缺陷名称数量
NG0主件漏放0
NG1工件一漏装1
NG2工件二漏装0
NG3工件三漏装2
NG4螺钉漏打3
NG5卡扣/线束未接1
显示涂抹
显示缺陷名称
字体大小40
线宽2
相机通道CH1 · RTSP
ROI 区域工位全框

▲ 参数配置 · 页面参数:缺陷类型与检测显示设置(真实操作页样式)

工序名、NG 码、叠加显示一次配好,运行看板与报表共用同一套字典。
07

上线运行:视频 + 六级清单

RUN

监控与结论同一屏

边缘运行
  • 左侧:实时画面 + 分割掩膜,标出「工件三」与螺钉紧固;
  • 右侧:六级按钮清单——主件上位、装工件一 / 二 / 三、螺钉紧固、卡扣连接;完成项打绿勾;
  • 结论:全部通过允许放行;任一步「物体不存在 / 数量不足」则拦截并记入对应 NG。
运行监控 — Camera 01 · 汽车配件装配工位边缘运行中
运行监控实时画面
实时识别 · 螺钉紧固
E0主件上位到位
E1装配工件一
E2装配工件二
E3装配工件三
E4螺钉紧固
E5卡扣 / 线束连接
4 / 6 步已通过 · 待螺钉紧固

▲ 运行监控:左实景识别,右六级装配步骤同步推进

▲ 实操视频:汽车配件过程监控完整片段

配置、识别、步骤勾选与放行结论集中在同一界面,现场可当天验收。
08

对照表与项目体会

环节传统装配线VisionAgent 汽车配件装配
认部件班组长抽看语义分割实时识别主件与工件一 / 二 / 三等
管顺序靠习惯与纸质 SOP状态图 S0–S6 强制顺序
管漏项整车装配或客诉才发现事件「物体存在」逐步门禁 + NG 统计
管紧固依赖工具与人自觉螺钉「数量原语」+ 位置约束双重确认
留记录纸质勾选事后补步骤轨迹与缺陷数量自动留痕

贯穿始终的四个问题:系统看什么、什么叫装齐、什么情况拦截、结果怎样进报表

写在最后

汽车配件装配监控难的不是认出某一个工件,而是把识别入位 → 事件上报 → 状态推进 → NG 统计 → 终检放行串成现场愿意用、质量经得起复核的链路。

一句话:视觉大模型负责认装配件,事件编排负责报工序,状态机负责管顺序,参数页负责管 NG 字典——零代码把装配工位从「靠人盯」变成「系统逐步核对」。
B
Blue
工业视觉算法工程师 · 本文作者

计算机视觉方向,长期做光学成像与缺陷分割的工程落地。习惯先把打光与采样口径定住,再谈模型;近年主要用少样本视觉大模型替代逐类调参的传统 AOI,参与过 3C 结构件、家电五金、锂电与汽车零部件的产线检测与 SOP 过程监控部署,也负责现场标定、配方管理与上线后的持续迭代。