领邦智能 · VisionAgent 实操

零件装配过程监控
电机接线盒工位落地实录

从电机就位、接线确认、拧螺丝到盖子就位——把人工装配工位变成可核对、可计时、可留痕的标准流程

零件装配 SOP 阅读约 7 分钟 零代码 · 少样本 · 边缘部署

电机接线盒装配看似熟悉:电机上线、核对端子接线、用电批拧螺丝、盖上红色盖子、紧固放行。难的不是"装完一台",而是让每一台都按同一套 SOP 做完:接线齐全、螺丝拧到位、盖子装上,漏步能当场拦住,并留下可复核的过程记录。

这篇博客基于真实电机装配线视频,结合 VisionAgent 真实操作界面样板,讲清楚:现场装配每一步在查什么,以及张量流、GPU 事件编排、状态图如何把装配规则落到软件里。

本篇要点:视频画面实时标出「拧螺丝」「盖子」等动作与部件;工位是银白散热片电机 + 红色接线盒,置于链式输送夹具上;系统用五个算子串起采集→识别→事件→状态推进,最终输出装配完成 / 漏步拦截。界面截图按真实 VisionAgent 操作页样式生成。

现场场景视频里的真实装配工位

俯拍画面里,银白散热片电机固定在金属夹具上,左右可见输送链条;顶部红色接线盒打开时,绿色端子排与黄/蓝/红导线清晰可见。操作工戴灰白手套,手持黄黑电批拧端子螺丝;随后装上红色盖子并完成紧固。视觉系统在画面上直接画出粉圈「拧螺丝」、青框「盖子」——这就是零件装配过程监控要落地的现场。

拧螺丝动作识别
现场帧待加载

▲ 现场帧:识别到「拧螺丝」——电批伸入红色接线盒端子区

盖子就位
现场帧待加载

▲ 现场帧:红色接线盒「盖子」就位,青框标出目标

检测步骤六步装配 SOP,每步查什么

01
电机就位
夹具上电机到位
02
接线确认
端子排导线齐全
03
拧螺丝
电批紧固端子螺丝
04
盖子就位
红色盖板盖上
05
盖板紧固
四角螺丝拧紧
06
装配完成
合格放行下站

01电机就位——确认"这台电机进入流程"

链式线上电机落入金属夹具。智能体识别电机壳体 + 红色接线盒出现在视野,状态机从 S0 进入流程并开始计时。未就位不算进入装配。

02接线确认——端子区导线真实存在

开盖状态下核对绿色端子排上的黄/蓝/红导线。漏接或未入位,本步不通过,不允许进入拧螺丝。

03拧螺丝——工具与动作必须发生

视频明确叠出「拧螺丝」。系统识别黄黑电批伸入接线盒并持续够秒数;空手比划或时长不足,状态保持琥珀色。

04盖子就位——红色盖板必须盖上

画面标出「盖子」。识别红色接线盒盖板覆盖端子区;未盖盖就去合盖紧固,会被状态机拦住。

05盖板紧固——四角螺丝不可省

盖上后继续用电批紧固盖板螺丝。识别紧固动作与盖板角部螺丝存在;漏拧走异常分支。

06装配完成——全步骤 AND 才放行

电机就位、接线、拧螺丝、盖子、紧固全部到位,输出「装配完成」;任一缺失拦截出站。

装配过程比外观更难管

只看出货外观,管不住"端子没拧紧、盖子漏装"。通电后故障与客诉成本远高于产线多盯一步——需要动作级零件装配监控。

智能体实操五步配置,把装配 SOP 变成系统规则

完整链路:搭张量流 → 标动作/部件 → 编事件 → 画状态图 → 上线监控。下面三张操作页按真实 VisionAgent 界面样板生成,文字与控件样式与产品一致,内容替换为本工位的「拧螺丝 / 盖子」等标签。

1

拖拉拽,搭出检测张量流

零代码编排

新建项目「零件装配」,从左侧算子库拖出并连接(与真实画布一致):

工业相机→图像预处理→语义分割→事件探测→状态机
  • 工业相机——俯拍夹具,覆盖电机、接线盒与双手电批;
  • 图像预处理——去噪、增强、归一化,稳定金属反光;
  • 语义分割——识别拧螺丝动作、盖子、端子区等目标;
  • 事件探测——把识别结果变成标准事件;
  • 状态机——按装配顺序推进,输出完成 / 漏步拦截。
张量流画布
截图加载中

▲ 张量流:工业相机 → 预处理 → 语义分割 → 事件探测 → 状态机(真实操作页样式)

流程图就是程序本身——工艺人员看得懂、改得动。
2

少样本标注:教会模型装配动作与部件

少样本 1–5 张

按视频真实标签建立类别:电机就位 / 接线确认 / 拧螺丝 / 盖子 / 盖板紧固(可加「戴手套」合规类)。每类 1–5 张样本即可分钟级训练。

换电机型号或接线盒颜色,补几张样本微调,不必重写代码。
3

GPU 事件编排:把动作变成标准信号

GPU 事件编排器

打开「GPU事件编排器」,从原语库拖入「物体存在」。例如正在配置事件「拧螺丝」时:

  • 目标类别:拧螺丝;检测区域:全图;切图板:不切图;
  • 事件列表:E0 接线确认、E1 拧螺丝、E2 盖子就位、E3 装配完成;
  • 每个事件挂 1 个原语;漏步可另挂「物体不存在」驱动拦截。
GPU事件编排器
截图加载中

▲ GPU事件编排器:正在配置事件「拧螺丝」= 原语「物体存在」(真实操作页样式)

识别结果封装成事件,状态机与看板直接订阅。
4

状态图编辑器:S0–S4 管顺序与门禁

状态图编辑器
  • S0 电机就位 为根节点;事件推进到 S1 接线确认、S2 拧螺丝、S3 盖子就位、S4 装配完成;
  • 右侧事件张量 E ∈ R⁵:EØ 空事件、E0 接线确认、E1 拧螺丝、E2 盖子就位、E3 装配完成;
  • 未拧螺丝就去盖盖子,状态不推进;全事件到位才放行。
状态图编辑器
截图加载中

▲ 状态图编辑器:S0 电机就位 → 接线 / 拧螺丝 / 盖子 / 装配完成(真实操作页样式)

SOP 顺序由状态图强制约束,不再靠班组自觉。
5

上线运行:监控、展示、输出同一界面

边缘运行
  • 识别画面:叠出拧螺丝粉圈、盖子青框;
  • 步骤卡:六步状态(绿=完成,琥珀=进行中,红=漏步);
  • 结论与推送:装配完成放行 / 漏步拦截;HTTP 输出到 MES。
运行监控界面
截图加载中

▲ 运行监控:左侧实景识别「拧螺丝 / 盖子」,右侧步骤卡同步推进

▲ 实操视频:电机接线盒零件装配过程监控完整过程

配置、识别、结论集中在同一界面,现场当天可验收。

为什么是大模型一张表看懂差别

环节传统方式VisionAgent 零件装配
认动作/部件班组长巡查视觉大模型实时识别拧螺丝 / 盖子
管顺序靠操作工习惯状态图锁定 SOP 顺序
卡时长无法量化拧了多久单步计时,不足即提示
留记录纸质点检事后补自动形成可核对过程记录
接系统结果难进 MESHTTP 结构化输出

同一套骨架也可迁到电子测试 SOP、防护箱齐套、拧紧力矩核对等场景——共用「识别 → 事件编排 → 状态机」链路,只换现场标签。

项目体会把客户需求翻译成系统规则

贯穿始终的四个问题:系统看什么、什么时候算完成、什么情况拦截、结果怎样留存。

写在最后

零件装配监控难的从来不是认出某一把电批,而是把识别动作与部件 → 核对顺序 → 卡控时长 → 形成结论 → 留存记录串成现场愿意用、质量经得起复核的链路。

一句话:视觉大模型负责认拧螺丝与盖子,事件编排负责报步骤,状态机负责管流程——零代码把装配工位从"靠人盯"变成"系统自动核对"。
I
Ivan
工业视觉解决方案专家 · 本文作者

硕士学历,自动化与机器视觉方向。深耕工业视觉检测十余年,早年主导传统 AOI 算法开发,近年专注视觉大模型在制造业的工程化落地。先后交付 3C 电子、家电、汽车零部件、医疗等行业的 30 余个视觉检测与 SOP 过程监控项目。