领邦智能大模型视觉

手工装配工位的质量风险，往往不在终点外观，而在过程：外壳、皮套、电路板、黑皮套、固定器、盖子是否按顺序到位， 有没有跳步、漏件、错序。传统抽检看结果，难以及时拦住过程差错；传统 AOI 又长于静态外观，难覆盖「动作—部件—顺序」这类变化频繁的过程任务。

识别什么

以俯拍工位为主视角，识别装配过程中的关键节点：起点台面、外壳、皮套、电路板、黑皮套、固定器、盖子、终点台面。 右侧工作流随识别结果逐步打勾；异常可回看画面与检测记录。

系统链路

工位相机进流后，在边缘智能体完成本地推理；大模型负责「看见」，状态机负责「算不算做完」。 原始视频不出厂，现场只保留步骤结果与可复核片段。

为什么用少样本 + 状态机，而不是「一工位一专用模型」

装配品类、夹具、手顺会变。专用小模型每次换型都要重训，上线慢、难复制。 视觉大模型用 1–10 张样本即可配置新目标；状态机把「看见」编排成可验收的 SOP——改步骤是配置变更，不是重新立项训练。

过程点检的前提是稳定认出台面与各装配件。这里不用框回归硬凑，而用像素级语义分割： 每类目标 1–10 张现场样本即可设定，输出掩膜后做存在/面积判定。换型主要补样本，不必重训整套专用模型。

本页视频工位要认 7 类目标、走 8 步（桌子既是起点也是终点），与运行界面「检测记录」的列一一对应： 桌子 · 外壳 · 皮套 · 电路板 · 黑皮套 · 固定器 · 盖子。 台面用于判起点/终点在位，其余按装配顺序逐件确认。

皮套与黑皮套形态相近、颜色不同，属于典型「同形异色」难点：靠像素级分割 + 颜色/位置约束区分， 比框回归稳；若现场光照变化大，补样本后点「迁移」即可，不必重训。

分割只负责看见像素。业务要的是「外壳到位」「锁付完成」这类可判定事件。 事件清单本身在状态机里定义，判定逻辑在 GPU 事件编排器里搭：从原语库拖判定积木、配参数， 再用「与 / 或 / 非」组合成成立条件。改判定只动参数，不必重训模型。

右侧工作流不是展示清单，而是 SOP 状态机：状态、事件、动作三份清单在这里定义， 再决定「处在哪个状态、收到哪个事件、跳到哪一步、同时执行什么动作」。 顺序强制不靠额外写 NG 规则，而是靠「非预期事件一律自环」：跳步不推进，缺步走不到终点。 需要报警或写记录时，把动作 (A) 挂在对应转移上。改手顺只改这份配置，不必重训分割模型。

视频工位的状态与事件绑定（S0–S7 / E0–E7）

配置界面用张量流把节点连起来：相机 → 图像预处理 → 语义分割 → 事件探测 → 状态机。 判定逻辑不是单独的节点，而是「事件探测」里为每个事件搭的原语组合。 下面两张图是装配工位已挂载的配置，以及同一份配置跑起来时状态机逐步打勾的样子。