领邦智能 · VisionAgent 实操

新能源装配过程监控
线束保险丝盒工位落地实录

从工装就位、取继电器、上零件到零件个数达标——把人工插继电器变成可核对、可计数、可留痕的标准流程

新能源装配 SOP 阅读约 7 分钟 零代码 · 少样本 · 边缘部署

新能源线束保险丝盒装配看似熟悉:工装上线、从料盒取浅蓝继电器、按槽位上零件、看个数是否达标、合盖放行。难的不是"插完一只盒",而是让每一只盒都按同一套 SOP 做完:零件入位可识别、数量实时累加、漏插能当场拦住,并留下可复核的过程记录。

这篇博客基于真实新能源装配过程监控视频,结合 VisionAgent 真实操作界面样板,讲清楚:现场装配每一步在查什么,以及张量流、GPU 事件编排、状态图如何把装配规则落到软件里。

本篇要点:视频画面实时标出「上零件」并显示「零件个数」;工位是黑色保险丝/继电器盒 + 黑色胶带线束 + 料盒中的浅蓝继电器,操作工戴白手套;系统用五个算子串起采集→识别→事件→状态推进,最终输出装配完成 / 漏件拦截。界面截图按真实 VisionAgent 操作页样式生成。

现场场景视频里的真实装配工位

俯拍画面里,黑色保险丝盒内已有红/黄/蓝小型保险丝与多只浅蓝立方继电器;盒体连接厚重黑色胶带线束与彩色导线。操作工戴白手套,从料盒取继电器并压入槽位。视觉系统用橙框标出已上继电器,红字「上零件」,左下角实时显示「零件个数:1…12」——这就是新能源装配过程监控要落地的现场。

上零件识别
现场帧待加载

▲ 现场帧:识别「上零件」,零件个数累加中

多零件齐套识别
现场帧待加载

▲ 现场帧:多个继电器同时框选「上零件」,零件个数:10

检测步骤六步装配 SOP,每步查什么

01
工装就位
保险丝盒/线束上台
02
取继电器
从料盒取出零件
03
上零件
继电器压入对应槽
04
数量累加
零件个数实时+1
05
齐套核对
数量达到目标值
06
装配完成
合格放行下站

01工装就位——确认"这只盒进入流程"

黑色保险丝盒与线束出现在台面。智能体识别工装轮廓进入视野,状态机从 S0 进入流程并开始计时。未就位不算进入装配。

02取继电器——零件来源可追踪

识别白手套从料盒取浅蓝继电器。空手比划或未取件,不允许进入上零件。

03上零件——入槽动作必须发生

视频明确叠出「上零件」。系统识别继电器落入保险丝盒槽位;未压实或放错区域,本步不通过。

04数量累加——过程可计数

每次成功上零件,画面「零件个数」+1。计数是过程监控的核心信号,也是齐套判定的输入。

05齐套核对——达到目标才放行

当零件个数达到工艺目标(视频中可见累加至 10–12),触发数量达标事件;不足则保持拦截。

06装配完成——关键步骤 AND 才出站

工装就位、上零件、数量达标全部到位,输出「装配完成」;漏插走异常分支。

装配过程比外观更难管

只看出货外观,管不住"少插一只继电器"。通电后故障与售后成本远高于产线多盯一步——需要可计数的零件装配过程监控。

智能体实操五步配置,把装配 SOP 变成系统规则

完整链路:搭张量流 → 标零件/动作 → 编事件 → 画状态图 → 上线监控。下面三张操作页按真实 VisionAgent 界面样板生成,文字与控件样式与产品一致,内容替换为本工位的「上零件 / 取继电器」等标签。

1

拖拉拽,搭出检测张量流

零代码编排

新建项目「新能源装配」,从左侧算子库拖出并连接(与真实画布一致):

工业相机→图像预处理→语义分割→事件探测→状态机
  • 工业相机——俯拍台面,覆盖保险丝盒、线束、料盒与双手;
  • 图像预处理——去噪、增强、归一化,稳定黑盒反光与线束纹理;
  • 语义分割——识别浅蓝继电器、上零件动作、工装区域;
  • 事件探测——把识别结果变成标准事件并驱动计数;
  • 状态机——按装配顺序推进,输出完成 / 漏件拦截。
张量流画布
截图加载中

▲ 张量流:工业相机 → 预处理 → 语义分割 → 事件探测 → 状态机(真实操作页样式)

流程图就是程序本身——工艺人员看得懂、改得动。
2

少样本标注:教会模型零件与动作

少样本 1–5 张

按视频真实标签建立类别:工装就位 / 取继电器 / 上零件 / 齐套完成(可加「戴手套」合规类)。每类 1–5 张样本即可分钟级训练。

换继电器颜色或保险丝盒料号,补几张样本微调,不必重写代码。
3

GPU 事件编排:把动作变成标准信号

GPU 事件编排器

打开「GPU事件编排器」,从原语库拖入「物体存在」。例如正在配置事件「上零件」时:

  • 目标类别:上零件;检测区域:全图;切图板:不切图;
  • 事件列表:E0 取继电器、E1 上零件、E2 数量达标、E3 装配完成;
  • 每个事件挂 1 个原语;漏插可另挂「物体不存在」或数量原语驱动拦截。
GPU事件编排器
截图加载中

▲ GPU事件编排器:正在配置事件「上零件」= 原语「物体存在」(真实操作页样式)

识别结果封装成事件,状态机与看板直接订阅。
4

状态图编辑器:S0–S4 管顺序与门禁

状态图编辑器
  • S0 工装就位 为根节点;事件推进到 S1 取继电器、S2 上零件、S3 数量核对、S4 装配完成;
  • 右侧事件张量 E ∈ R⁵:EØ 空事件、E0 取继电器、E1 上零件、E2 数量达标、E3 装配完成;
  • 未达目标个数不放行;重复上零件持续累加直至达标。
状态图编辑器
截图加载中

▲ 状态图编辑器:S0 工装就位 → 取继电器 / 上零件 / 数量核对 / 装配完成(真实操作页样式)

SOP 顺序与齐套数量由状态图强制约束,不再靠自觉。
5

上线运行:监控、展示、输出同一界面

边缘运行
  • 识别画面:橙框标出继电器,「上零件」标签 +「零件个数」计数;
  • 步骤卡:六步状态(绿=完成,琥珀=进行中,红=漏件);
  • 结论与推送:装配完成放行 / 漏件拦截;HTTP 输出到 MES。
运行监控界面
截图加载中

▲ 运行监控:左侧实景识别「上零件」与零件个数,右侧步骤卡同步推进

▲ 实操视频:新能源线束保险丝盒装配过程监控完整过程

配置、识别、计数与结论集中在同一界面,现场当天可验收。

为什么是大模型一张表看懂差别

环节传统方式VisionAgent 新能源装配
认零件/动作班组长巡查视觉大模型实时识别上零件 / 继电器
管数量靠记忆与纸质点检零件个数实时累加,达标才放行
管顺序靠操作工习惯状态图锁定 SOP 顺序
留记录纸质清单事后补自动形成可核对过程记录
接系统结果难进 MESHTTP 结构化输出

同一套骨架也可迁到电机接线盒装配、汽车喷漆、齐套装箱等场景——共用「识别 → 事件编排 → 状态机」链路,只换现场标签与计数规则。

项目体会把客户需求翻译成系统规则

贯穿始终的四个问题:系统看什么、什么叫装齐、什么情况拦截、结果怎样留存。

写在最后

新能源装配监控难的从来不是认出某一只继电器,而是把识别上零件 → 实时计数 → 齐套门禁 → 形成结论 → 留存记录串成现场愿意用、质量经得起复核的链路。

一句话:视觉大模型负责认上零件,事件编排负责报步骤与计数,状态机负责管齐套——零代码把装配工位从"靠人盯"变成"系统自动核对"。
I
Ivan
工业视觉解决方案专家 · 本文作者

硕士学历,自动化与机器视觉方向。深耕工业视觉检测十余年,早年主导传统 AOI 算法开发,近年专注视觉大模型在制造业的工程化落地。先后交付 3C 电子、家电、汽车零部件、医疗等行业的 30 余个视觉检测与 SOP 过程监控项目。