新能源线束保险丝盒装配看似熟悉:工装上线、从料盒取浅蓝继电器、按槽位上零件、看个数是否达标、合盖放行。难的不是"插完一只盒",而是让每一只盒都按同一套 SOP 做完:零件入位可识别、数量实时累加、漏插能当场拦住,并留下可复核的过程记录。
这篇博客基于真实新能源装配过程监控视频,结合 VisionAgent 真实操作界面样板,讲清楚:现场装配每一步在查什么,以及张量流、GPU 事件编排、状态图如何把装配规则落到软件里。
现场场景视频里的真实装配工位
俯拍画面里,黑色保险丝盒内已有红/黄/蓝小型保险丝与多只浅蓝立方继电器;盒体连接厚重黑色胶带线束与彩色导线。操作工戴白手套,从料盒取继电器并压入槽位。视觉系统用橙框标出已上继电器,红字「上零件」,左下角实时显示「零件个数:1…12」——这就是新能源装配过程监控要落地的现场。

▲ 现场帧:识别「上零件」,零件个数累加中

▲ 现场帧:多个继电器同时框选「上零件」,零件个数:10
检测步骤六步装配 SOP,每步查什么
01工装就位——确认"这只盒进入流程"
黑色保险丝盒与线束出现在台面。智能体识别工装轮廓进入视野,状态机从 S0 进入流程并开始计时。未就位不算进入装配。
02取继电器——零件来源可追踪
识别白手套从料盒取浅蓝继电器。空手比划或未取件,不允许进入上零件。
03上零件——入槽动作必须发生
视频明确叠出「上零件」。系统识别继电器落入保险丝盒槽位;未压实或放错区域,本步不通过。
04数量累加——过程可计数
每次成功上零件,画面「零件个数」+1。计数是过程监控的核心信号,也是齐套判定的输入。
05齐套核对——达到目标才放行
当零件个数达到工艺目标(视频中可见累加至 10–12),触发数量达标事件;不足则保持拦截。
06装配完成——关键步骤 AND 才出站
工装就位、上零件、数量达标全部到位,输出「装配完成」;漏插走异常分支。
装配过程比外观更难管
只看出货外观,管不住"少插一只继电器"。通电后故障与售后成本远高于产线多盯一步——需要可计数的零件装配过程监控。
智能体实操五步配置,把装配 SOP 变成系统规则
完整链路:搭张量流 → 标零件/动作 → 编事件 → 画状态图 → 上线监控。下面三张操作页按真实 VisionAgent 界面样板生成,文字与控件样式与产品一致,内容替换为本工位的「上零件 / 取继电器」等标签。
拖拉拽,搭出检测张量流
零代码编排新建项目「新能源装配」,从左侧算子库拖出并连接(与真实画布一致):
- 工业相机——俯拍台面,覆盖保险丝盒、线束、料盒与双手;
- 图像预处理——去噪、增强、归一化,稳定黑盒反光与线束纹理;
- 语义分割——识别浅蓝继电器、上零件动作、工装区域;
- 事件探测——把识别结果变成标准事件并驱动计数;
- 状态机——按装配顺序推进,输出完成 / 漏件拦截。

▲ 张量流:工业相机 → 预处理 → 语义分割 → 事件探测 → 状态机(真实操作页样式)
少样本标注:教会模型零件与动作
少样本 1–5 张按视频真实标签建立类别:工装就位 / 取继电器 / 上零件 / 齐套完成(可加「戴手套」合规类)。每类 1–5 张样本即可分钟级训练。
GPU 事件编排:把动作变成标准信号
GPU 事件编排器打开「GPU事件编排器」,从原语库拖入「物体存在」。例如正在配置事件「上零件」时:
- 目标类别:上零件;检测区域:全图;切图板:不切图;
- 事件列表:E0 取继电器、E1 上零件、E2 数量达标、E3 装配完成;
- 每个事件挂 1 个原语;漏插可另挂「物体不存在」或数量原语驱动拦截。

▲ GPU事件编排器:正在配置事件「上零件」= 原语「物体存在」(真实操作页样式)
状态图编辑器:S0–S4 管顺序与门禁
状态图编辑器- S0 工装就位 为根节点;事件推进到 S1 取继电器、S2 上零件、S3 数量核对、S4 装配完成;
- 右侧事件张量
E ∈ R⁵:EØ 空事件、E0 取继电器、E1 上零件、E2 数量达标、E3 装配完成; - 未达目标个数不放行;重复上零件持续累加直至达标。

▲ 状态图编辑器:S0 工装就位 → 取继电器 / 上零件 / 数量核对 / 装配完成(真实操作页样式)
上线运行:监控、展示、输出同一界面
边缘运行- 识别画面:橙框标出继电器,「上零件」标签 +「零件个数」计数;
- 步骤卡:六步状态(绿=完成,琥珀=进行中,红=漏件);
- 结论与推送:装配完成放行 / 漏件拦截;HTTP 输出到 MES。

▲ 运行监控:左侧实景识别「上零件」与零件个数,右侧步骤卡同步推进
▲ 实操视频:新能源线束保险丝盒装配过程监控完整过程
为什么是大模型一张表看懂差别
| 环节 | 传统方式 | VisionAgent 新能源装配 |
|---|---|---|
| 认零件/动作 | 班组长巡查 | 视觉大模型实时识别上零件 / 继电器 |
| 管数量 | 靠记忆与纸质点检 | 零件个数实时累加,达标才放行 |
| 管顺序 | 靠操作工习惯 | 状态图锁定 SOP 顺序 |
| 留记录 | 纸质清单事后补 | 自动形成可核对过程记录 |
| 接系统 | 结果难进 MES | HTTP 结构化输出 |
同一套骨架也可迁到电机接线盒装配、汽车喷漆、齐套装箱等场景——共用「识别 → 事件编排 → 状态机」链路,只换现场标签与计数规则。
项目体会把客户需求翻译成系统规则
- 业务要求:每只保险丝盒按标准装完继电器,漏插当场发现;
- 判定规则:核对上零件事件与零件个数目标,记录用时与结论;
- 软件配置:五算子张量流 + 状态图编辑器 + GPU 事件编排器。
贯穿始终的四个问题:系统看什么、什么叫装齐、什么情况拦截、结果怎样留存。
写在最后
新能源装配监控难的从来不是认出某一只继电器,而是把识别上零件 → 实时计数 → 齐套门禁 → 形成结论 → 留存记录串成现场愿意用、质量经得起复核的链路。