家电行业：包装过程监测SOP落地实践

01/6关键矛盾

缺件为什么总在客户拆箱时才暴露

把问题拆开看，这道工序难在三处：封箱后内容物不可见，终检称重、抽检只能抓住部分缺件；人眼盯 30 秒一件的连续包装不可持续，事后翻录像也难复核；箱规和步骤一换，靠专用外观模型的旧办法就要重采重训，跟不上换型节奏。

所以方案的选择是：把问题定义为「包装步骤是否按顺序发生」，而不是「再训练一个专用外观模型」——用视觉大模型看见料件与动作，用状态机判定顺序，用边缘侧实时输出。换箱规、换步骤主要改配置，不必长期驻场训练。

02/6张量流

五个算子在画布上连成一条流

视觉智能体软件部署在边缘侧，检测任务的配置、执行、展示和结果输出都在同一套软件里。本案例通过零代码拖拉编排完成配置：从左侧算子库拖出算子、按数据流向连接，不需要写算法代码。

• 视频流相机：接入包装工位的俯拍画面，为后续算子持续提供图像。
• 图像预处理：去噪、增强、归一化，使输入满足模型的处理要求。
• 语义分割：认出料件像素，并在画面上生成贴合外形的轮廓与类别标签。
• 事件探测：把识别结果按原语组合，转成「料件到位」这类事件信号。
• 状态机：按事件推进 SOP 步骤，维护当前流程状态并给出判定依据。

三个子编辑器都靠双击节点进入：语义分割 → 标注工具（界面 02），事件探测 → GPU 事件编排器（界面 03），状态机 → 状态图编辑器（界面 04）。同一份配置跑起来逐步打勾的样子，见页首视频。

03/6少样本分割

先让系统看见料件像素，再谈步骤打勾

包装料件多是白色薄软物，还常隔着透明袋：泡沫纸会皱、说明书会歪、背板贴着箱壁。这类目标用框回归很难贴合，本方案用像素级语义分割——每类 1–10 张现场样本即可在标注工具里定下来，输出掩膜后做存在与面积判定。

「翻转纸箱」不另建类别：同一个纸箱掩膜，翻转前后的长短轴比与主轴角度明显变化，用角度检测原语区分即可——少一类目标就少一轮标注。训练与推理都在边缘 GPU 本地完成，工位画面不出厂；换型补样本再迁移一轮即可。

04/6事件判定

在原语编排器里把像素变成「发生了什么」

分割只负责看见像素，业务要的是「泡沫纸到位」「说明书放入」这类可判定事件。事件清单在状态机里定义，判定逻辑在 GPU 事件编排器里搭：从原语库拖判定积木、配参数，再用「与 / 或 / 非」组合成成立条件——改判定只动参数，不必重训模型。

05/6状态机

顺序由状态图约束，漏放当场可见

右侧工作流不是展示清单，而是 SOP 状态机：S0–S6 七个状态对应七步等待，E0–E6 七个事件推进转移。顺序强制不靠额外写 NG 规则，而是靠「非预期事件一律自环」：跳步不推进，缺步走不到终点。

06项目体会

把现场要求翻译成系统能执行的规则

这个项目最深的体会，是现场要求与系统之间需要一次完整的「工程翻译」。「按 SOP 把件装齐」听上去只有一句话，真正落地时，识别哪些料件、怎样判定每一步、什么情况算漏放、结果怎样留存，每一项都要明确口径。

这项要求经历了三层拆解：

1. 业务要求：封箱前按 SOP 装齐，缺件、跳步要当场发现。
2. 判定规则：识别五类料件、核对七步顺序，逐步留证并给出 OK / NG。
3. 软件配置：五个算子连成张量流，S0–S6 状态图规定推进关系。

三层对齐后，模型的识别结果才进入现场流程。本工位实测单件耗时 32–39 秒，异常件的耗时会明显偏离——耗时本身就是一个可用的巡检线索。这套做法的适用边界也很清楚：适合料件多、步骤多、换型频繁的人工包装工位；箱内深腔遮挡的小件，需要工艺配合或加近景相机。

回看整个项目，四个问题贯穿实施过程：系统看什么、什么时候算完成、什么情况算漏放、结果怎样留存。