一件餐盒从出模到成品，中间发生了什么
现场不是先拍一批图片、再离线判断，而是把视觉检测嵌入原有生产节拍。产品从出模到成品依次经过五个环节。
- 热压成型。餐盒从热压设备出模，视觉系统需要在包装前检查盒腔表面。
- 机械臂上料。机械臂把餐盒放到传送带的固定位置，产品位置与后续检测结果由此建立对应关系。
- 进入取图位置。餐盒随传送带经过相机视野，相机采集盒面图像，送入边缘设备。
- 生成检测结果。系统在图像上标出检出区域，同时为对应餐盒给出 OK 或 NG，结果显示在运行看板上。
- 机械臂分拣。判定结果通过 Modbus 输出到产线，机械臂根据结果分别放置良品与不良品。
| 层级 | 组成 | 职责 |
|---|---|---|
| 机械输送 | 双皮带、中缝支撑、编码器、导向防护 | 稳定姿态与间距；为上下成像预留通道；提供位置同步 |
| 光学成像 | 多路线阵相机、镜头、反射／透射光源、暗箱 | 双面（及透光）连续扫描；侧视时由倾斜成像结构保证全场清晰 |
| 视觉软件 | VisionAgent 工控平台、配方／工作流、HMI 看板 | 采集拼接、缺陷识别、区域映射、阈值与换型、结果输出 |
| 运动执行 | PLC、X／Z 龙门、多头真空吸盘、独立阀组 | 按板号消费结果；选择性泄压释放 NG；OK 自动码垛 |
| 安全运维 | 光幕、急停、取料复位、防尘维护 | 人员取料互锁；纸粉环境下的相机／光源清洁 |
视觉系统不改变原有上料和分拣动作，补上的是中间的判断环节：先把相机图像与具体餐盒对应起来，在分拣之前输出结论——画面上的检出区域、看板上的结果卡片和机械臂的动作，指向同一件产品。
一个智能体拖起多条线
一台边缘智能体承载全部推理与训练
视觉智能体部署在产线现场。相机管理、样本标注、迁移训练、张量流配置、运行监控和结果输出，都在这一台的同一套软件里完成，实施人员不需要在多套工具之间来回切换。
通常的做法是一条线配一台工控机和一套软件，产线增加，硬件、授权和维护对象就跟着按比例增加。视觉智能体把这一层集中起来：16 条产线约 80 台相机的推理都跑在这一台上，新增机位是在已有设备上加一路配置，而不是再往现场搬一台机器。
另一处不同是训练和生产不分家。现场采集的图像可以直接在这台设备上补充标注、执行迁移训练、复核检测结果，确认之后即用于对应工位的运行链路——不需要另一台训练服务器，也不需要把模型导出再部署到别处。
拖拉拽张量流配置，易用
张量流把原本分散的处理步骤放到同一张画布上，搭建基本靠鼠标：从左侧算子库把算子拖到画布，从一个节点的输出端拖线、落到下一个节点的输入端，链路就接上了；摆定之后，再逐个为节点指定相机、模型和输出对象。
这套操作方式也决定了规模能堆到多大。八十台相机在画布上就是八十个并列的相机节点，逐个拖出来接到同一条链路上，不需要为每个机位单独建一套工程。后续产线加一个机位，动作还是拖一个节点、连一条线；十六条产线陆续接进来，画布会变长，设备却始终是那一台。所谓“一拖八十”，在软件侧就是这么一格一格堆出来的。
- 工业相机：一个节点对应一个机位，按采集周期产出图像帧，送入图像预处理。
- 图像预处理：按工位配置完成去噪、增强、归一化与 700×700 切片，交给语义分割。
- 语义分割：用该工位迁移好的模型分割出缺陷区域，输出类别、位置与置信度。
- 事件探测：从分割结果中探测状态变化，生成带机位与产品位置的事件，分送结果汇总与状态机。
- 结果汇总：汇聚同一件产品的多路事件，合成逐件的 OK／NG 终判。
- 状态机：跟踪产品的输送状态，把终判对齐到正确的产品与时点。
- Modbus 设备：把终判写入产线 PLC，机械臂据此完成分拣。
各工位画面不同，配置方法一致；需要排查时，从相机节点沿连线核对，结果是否到达汇总与输出一目了然。
80 台相机，为什么拖得动
接得上是画布的事，拖得动要先算一笔吞吐账。识别模型的输入是 700×700 的切片，这台设备的推理吞吐按 200 张/秒计；现场按 20 秒一个采集周期取图，一个周期的推理预算就是 200 × 20 = 4000 张切片。预算的另一头是消耗：每台相机每周期产出一帧 4096×4096 的图像（线扫按扫描长度折算成等效帧），按 700 切片横竖各 ⌈4096/700⌉ = 6 刀，共 6 × 6 = 36 张；每边覆盖 6 × 700 = 4200 px，比原图多出的 104 px 留作切缝重叠，不降采样、不漏像素。一条线 5 台相机，合计 180 张。
即使 16 条线的图像在同一周期内到齐，2880 张按每张 5 毫秒串行处理完约 14.4 秒，仍在 20 秒节拍之内；对照 22 条线的上限，现场停在 16 条，留下约 28% 的余量给补拍复核、新品试跑和后续加线。“一拖八十”能成立，就是这笔预算没有花超。
拖得动，还要稳得住
集中带来性价比，也集中了风险：16 条线共用这一台，它一旦停机，停的就不是一条线。所以可靠性不是加分项，而是一拖多成立的前提——这台设备从选型起就按服务器标准来。
- 服务器级选型：至强（Xeon）服务器主板加至强 CPU，面向 7×24 连续负载设计；推理由 NVIDIA RTX 4090 承担，吞吐账里的 200 张/秒就出自这块卡。
- 散热设计：风道按满负载连续运行设计，长时间高占用下温度保持在安全区间，不因过热降频拖慢 20 秒节拍。
- 温度监控：CPU 与 GPU 温度持续采集，越限即告警，异常在演变成停机之前就能被处理。
标注、成像与分工
视觉大模型，少样本、强泛化——核心技术
盒面上的脏污、异物和杂质没有统一的形状、大小和位置。这类目标不像崩边或裂纹那样有稳定的几何特征可以描述——同一处污渍换个角度、换个光照，看上去就是另一样东西。按传统小模型的路子处理它，通常要先攒上万张图片，训练周期以月计；而这家工厂品种换得频繁，等不到那个时候。
所以识别建立在视觉大模型的少样本迁移上：把模型已有的通用识别能力迁到这个工位的目标上，而不是从零开始累积数据。项目开始时，先从现场图像中挑出有代表性的正常样本和不良样本，明确需要检出的区域与类别，再在标注页上把典型不良标出来。
标注完成后执行少样本迁移，再逐张复核模型是否稳定标出目标。第一条线从进场到出结果用了 10 天，量级上的差别就在这里。另一处好处在运行中显现：遇到首批样本未覆盖的新情况，留下图像、补充标注就能继续迭代，不必从头攒数据重训，相机接入和张量流配置也不用动。
倾斜成像结构，让所有面都清晰看见
一次性餐盒不是印刷品那样的平面，而是带凹凸与侧面的 3D 结构。相机若固定俯视，画面里只有底面是正对的，侧面会被严重透视压缩——立面上的缺陷被“挤”成一条细线，甚至完全消失。侧面漏检就是这么产生的。
定制的倾斜成像结构解决的正是这件事：相机侧视，侧面与底面同时入画、立面缺陷不再被压缩，且在约 1 米幅宽的检测平面上处处清晰。这套左右斜视的布置对拔模角也不挑：60°、65°、70° 的规格换型，调整相机安装角即可覆盖，机构不必改动。
机械、光学与软件，各自负责什么
硬件侧（结构／电控一次定型）
- 倾斜成像结构
- 双皮带中缝与输送同步
- 吸盘阵列与模具穴位物理对应
- 光幕／急停／阀组气路
- PLC 运动与安全联锁
软件侧（日常可配／换型加载）
- 产品工作流与少样本缺陷类别
- 相机曝光、增益、线频与光源亮度
- ROI／区域框、面积与置信度阈值
- 模具区域 → 吸盘／阀组映射
- 配方版本、权限审计与回滚
| 配置类型 | 谁做 | 典型内容 | 价值 |
|---|---|---|---|
| 光学结构定型 | 机械／光学工程师 | 倾斜成像布置、支架、暗箱、镜头与相机选型 | 保证侧视也能看清、看全 |
| 成像配方 | VisionAgent 配方／工作流 | 曝光、增益、频闪、ROI | 在清晰成像前提下稳定适应多品种 |
| 判定与执行映射 | 软件阈值 + 电控联动 | 面积阈值、穴位映射、吸盘选择性释放 | 把检测结果准确落到分拣动作 |
验收与看板
产线上的真实表现
模型能否稳定标出目标，只能说明它在单张图上可用。产线关心的是连续运行之后的结果，客户为此划定了两条验收线：漏检率不高于 1.5%，误判率不高于 5%。漏检率针对机器判为合格的那一批，指其中经人工全检挑出的不良品所占的比例，对应的是流出风险；误判率针对被机器拦下、人工复检后确认为合格的产品。
先交代这组数据测的是什么：数据出自 709 号机台，产品为 60 度 50 高规格——业主方公认这是全厂检测难度最大的一种规格，验收就压在它身上；最难的过了线，其余规格只会更宽松。而设备本身是通用的，换规格只换配方与模型、不动硬件，同一台即可覆盖全厂各种规格产品。
该机台自 8 月 1 日起按班次记录，每一班的机器结论都由人工全检逐件对照。8 月累计 18 个班次、74916 件，实测漏检率为 0.39%，误判率为 3.28%，两项合计均在验收线以内。下表为原始记录，未作平滑处理。
| 班次 | 总量 | 机器合格率 | 人工合格率 | 机器判为合格（A 类 · 人工全检） | 机器拦下（B 类 · 人工复检） | ||||
|---|---|---|---|---|---|---|---|---|---|
| 数量 | 其中不良 | 漏检率（≤1.5%） | 数量 | 其中合格 | 误判率（≤5%） | ||||
| 8月1日 白班 | 5000 | 78.90% | 82.04% | 3944 | 16 | 0.41% | 1056 | 174 | 3.48% |
| 8月1日 夜班 | 2504 | 81.60% | 83.07% | 2043 | 13 | 0.64% | 461 | 50 | 2.00% |
| 8月2日 白班 | 5000 | 86.70% | 90.24% | 4333 | 9 | 0.21% | 667 | 188 | 3.76% |
| 8月2日 夜班 | 2000 | 86.10% | 88.15% | 1721 | 11 | 0.64% | 279 | 53 | 2.65% |
| 8月2日 夜班二次 | 3000 | 88.10% | 90.10% | 2642 | 22 | 0.83% | 358 | 83 | 2.77% |
| 8月3日 夜班 | 2000 | 90.30% | 91.35% | 1805 | 18 | 1.00% | 195 | 40 | 2.00% |
| 8月4日 夜班二次 | 3016 | 89.00% | 90.82% | 2684 | 20 | 0.75% | 332 | 75 | 2.49% |
| 8月4日 白班 | 3700 | 89.70% | 90.78% | 3319 | 14 | 0.42% | 381 | 54 | 1.46% |
| 8 月 5 – 7 日 · 培训停机 | |||||||||
| 8月8日 白班 | 5008 | 86.00% | 90.93% | 4309 | 4 | 0.09% | 699 | 249 | 4.97% |
| 8月9日 白班 | 5136 | 82.60% | 85.86% | 4241 | 1 | 0.02% | 895 | 170 | 3.31% |
| 8月9日 夜班 | 5048 | 85.80% | 88.17% | 4331 | 35 | 0.81% | 717 | 155 | 3.07% |
| 8月10日 白班 | 5000 | 88.30% | 90.98% | 4413 | 14 | 0.32% | 587 | 150 | 3.00% |
| 8月11日 白班 | 5088 | 86.50% | 90.41% | 4401 | 7 | 0.16% | 687 | 206 | 4.05% |
| 8月11日 夜班 | 5016 | 88.70% | 91.81% | 4447 | 7 | 0.16% | 569 | 165 | 3.29% |
| 8月12日 夜班 | 5008 | 86.80% | 89.80% | 4347 | 13 | 0.30% | 661 | 163 | 3.25% |
| 8月13日 白班 | 5080 | 85.40% | 88.35% | 4338 | 11 | 0.25% | 742 | 161 | 3.17% |
| 8月13日 夜班 | 3312 | 85.20% | 87.83% | 2823 | 12 | 0.43% | 489 | 98 | 2.96% |
| 8月14日 夜班 | 5000 | 89.40% | 93.44% | 4472 | 24 | 0.54% | 528 | 224 | 4.48% |
| 合计 · 18 班 | 74916 | 86.25% | 89.19% | 64613 | 251 | 0.39% | 10303 | 2458 | 3.28% |
操作员在看板上看到的是什么
运行看板把现场最常用的信息放在同一页：左侧画面用于确认系统看到了什么；右侧卡片一格对应一件餐盒，绿色 OK、红色 NG，用于快速找到本轮不良；顶部是当日累计与设备运行信息。
截图这一刻，当日累计 16624 件，OK 14188、NG 2436，合格率 85.3%。数字只反映当时的运行记录，不代表其他日期或产品的固定良率。
面对多条产线，操作员不必盯住所有原始画面，看统一的结果卡片和统计即可；需要复核时，再回到对应机位的画面和检出区域。
成本账
降 70%，账是怎么算的
先划定口径：相机、镜头、光源、机架与分拣执行，两种方案都要配、数量相同，不计入比较；差别集中在推理算力与软件这一层。以下按项目报价的取整口径估算。
传统按线配置 · 16 条线
- 16 台视觉系统，约 3 万/台，合 48 万
- 16 个维护对象，系统、备件、升级各自独立
- 购置合计约 48 万
一拖多 · 同样 16 条线
- 1 台边缘视觉智能体，含平台授权，约 15 万
- 新增机位只是加一路配置，不新增硬件与授权
- 1 个维护对象，升级、备份、排查集中处理
- 购置合计约 15 万
48 万对 15 万，摊到 16 条线，单线检测成本从约 3 万降到约 0.9 万，降幅约七成——首屏那个 70% 的出处就在这里。这还只是购置口径：运维上，16 台工控机就是 16 份系统、16 轮升级、16 处可能坏掉的硬盘，对面只有一处。而算力账已经说明，带满 16 条线仍有约 28% 余量——省下的钱，没有以牺牲吞吐为代价。
第一条线从进场到出结果用了 10 天，但上线并不只是完成一次模型迁移。现场还要逐项确认相机看到的范围、哪些外观需要判为不良、检测结果如何对应到具体产品，以及最终结论如何交给机械臂。模型负责从图像中找目标，完整链路负责把目标变成产线可以执行的结果。
“一拖多”也不是把相机全部接上去就完事：不同机位各用确认过的配置，但相机、模型、事件、产品位置与输出的对应关系必须清楚——每一路结果都能追溯到具体工位和具体产品，集中接入之后才能稳定运行、排查有据。
算力账、成本账、逐班记录都在前文摆着——这个项目验证下来的结论，浓缩成三行。
视觉大模型，少样本、高泛化；
视觉智能体，通用、易用、快速交付；
边缘部署，一拖多、非常多，创造性价比。