大模型视觉 · 外观质检 ／ 落地实践
汽车行业：塑胶件缺陷检测项目落地实践
黑色复杂塑胶件上，缺胶、结构异常与棱边毛刺分散在多个局部视角—— 用同轴光稳住成像，用少样本分割看见缺陷，用事件与状态机把五项结果汇成可追溯的 OK / NG。
本篇要点
- 五项检测、编号连续。钩尖缺胶/断裂、支架缺胶/变形、顶部卡扣异常、棱边毛刺高度（两处）；范围已收敛，编号无空洞，五项都给出了前期试拍的代表性识别结果。
- 同轴光 + 遮光。黑色高反光曲面靠照明与观察同轴形成稳定明暗差，再隔离环境光，阈值才站得住。
- 少样本分割起步。新缺陷类别用 1–10 张样本图、数分钟配置即可进入试跑；几何量与阈值在配方里改，不必重训。
- 三工位一条张量流。钩尖与支架、顶部卡扣、棱边毛刺分视角采集，事件汇入同一状态机，按工件编号出唯一结论。
- 边缘本地推理。采图、分割、判定与归档都在边缘 GPU 完成，画面不出厂，支持多工位复用与持续补样本迭代。
人工目检在这类件上很难稳住：局部缺胶、细小毛刺和结构异常位置分散，长期观察又受疲劳、经验和节拍牵制。前期同轴光试拍已经证明——代表性缺胶与毛刺能形成清晰轮廓与灰度差，并可做像素级分割。本方案据此把「看得见」推进到「可判定、可复核、可汇总」。
01/9现场矛盾
难点不在「有没有模型」，而在成像与口径能否冻结
黑色塑胶件筋位、孔位、棱边互相遮挡，不同缺陷需要不同观察方向；环境光一变，高光位置跟着漂，同一个缺口今天亮、明天暗。若继续走「大量样本训一个专用外观模型」的老路，换型、换模具、换表面状态都要重采重训，驻场成本高、复制慢。
所以路径改成：先把光路与姿态冻住，再用 Transformer 少样本分割覆盖不规则缺胶与毛刺，把面积、长度、突出高度等几何量接到可配置阈值上。边缘侧本地推理，既保节拍，也减少视频外传。
先解决「缺陷在画面里稳定长什么样」，再谈准确率；否则阈值无法冻结，模型再强也只是跟着高光漂移。
02/9目标缺陷
五项检测，形态三项、尺寸两项
检测范围已按论证结果收敛为下列五项，编号连续、无空洞。五项全部在前期同轴光试拍中完成分割验证；阈值与准确率在正式样件、固定工装下冻结。
| 编号 | 缺陷 | 方法 | 判定要点 |
|---|---|---|---|
| 01 | 钩尖缺胶 · 断裂 | 语义分割 + 轮廓/长度 | 末端轮廓不完整或有效长度不足 |
| 02 | 支架缺胶 · 变形 | 语义分割 + 形态比较 | 外缘、孔位、钩位完整性与边界位置 |
| 03 | 顶部卡扣异常 | 语义分割 + 结构完整性 | 缺胶、形变、断裂或局部缺口 |
| 04 | 棱边毛刺高度 A | 分割 + 基准线垂距 | 相对基准棱边的最大突出高度超阈 |
| 05 | 棱边毛刺高度 B | 分割 + 基准线垂距 | 同棱另一测点，单独出值、单独判定 |
缺陷 02 看的是结构区域完整性，不是表面纹理；缺陷 04 / 05 不是「有没有毛刺」，而是「多高」——换公差只改毫米阈值，模型不用重训。
03/9成像打光
同轴照明：让缺陷变成稳定的明暗差
件是黑色、带曲面、局部高反光。斜打光时反光随姿态和环境光漂移，阈值无法固定。同轴光把照明方向与观察方向叠在一条轴上：正常表面把光原路反射回镜头，画面偏亮；缺胶缺口与毛刺侧壁偏离光轴，光被反射到别处，画面偏暗。再加遮光罩隔掉环境光，同一处缺陷在不同班次才是同一个样子。
相机、镜头与同轴光为试拍选型；曝光、工作距离、工位数量与结构布局，以正式样件、机械空间与节拍复核后冻结。各工位光源参数进配方统一管理。
04/9张量流
三工位支路汇进同一条工作流
视觉智能体部署在边缘侧：配置、推理、展示与结果输出在同一套软件里完成。零代码拖拉编排——从算子库拖出节点、按数据流连接。本项目不是单路串行，而是三条工位支路并行：各自完成采图 → 预处理 → 语义分割 → 事件探测，再汇入状态机，最后存图并经串口对接 PLC。
双击节点进入子编辑器：语义分割 → 标注工具，事件探测 → GPU 事件编排器，状态机 → 状态图编辑器。换产品主要改配方与样本，不必推倒重来。
05/9语义分割
像素级掩膜，用 1–10 张样本把新缺陷定下来
缺胶边界不规则、毛刺轮廓细碎，框回归很难贴合。方案用像素级语义分割：每类目标在标注工具里用少量现场图定类别——产品侧按 1–10 张样本图、数分钟配置 起步，输出掩膜后再算面积、长度或相对基准线的突出高度。训练与推理都在边缘 GPU 本地完成，工位画面不出厂。
跨模具、跨批次时，形态相近的缺陷往往只需少量补标即可迁移；这正是少样本底座相对「一缺陷一长训」的现场价值——上线周期短，模型维护不必长期驻场。
06/9试拍证据
五项逐一过一遍，每项都要给得出识别结果
方案能不能立项，只取决于一件事：目标缺陷在同轴光下是否真的形成了可学习、可分割的特征。这件事不能靠推断，得逐项拍出来看。前期试拍把五项挨个过了一遍，下图是每一项的代表性识别结果——左侧人工标注，右侧模型检测输出。
| 编号 | 识别特征 | 量化方式 | 试拍结论 |
|---|---|---|---|
| 01 | 缺胶或断裂形成连续的轮廓缺口，分割区域与正常边缘差异明显 | 缺陷面积、缺口长度、最大宽度 | 代表性棱边缺胶已被准确分割 |
| 02 | 支架连接边缘的缺胶区域，相比正常结构有明显面积与轮廓变化 | 缺胶面积、轮廓偏差、孔位完整性 | 标注区与原始缺口位置一致 |
| 03 | 卡扣局部缺胶、断裂或形变，造成目标区域轮廓与面积变化 | 高度、宽度、端点与模板偏差 | 界面直接给出面积 11237、长 321、宽 62 像素 |
| 04 | 侧视成像下，细小毛刺相对基准棱边形成清晰突出轮廓 | 拟合基准线后取轮廓到基准线的最大垂距 | 细小毛刺已被准确分割，具备标定测高基础 |
| 05 | 同一条棱边的第二个测点，特征与判据同 04 | 同一基准线，单独输出该测点的最大垂距 | 共用成像与标定，单独出值、单独判定 |
这组图证明的是「这条路能走」——特征可见、可定位、可分割；它不等于「准确率已经达标」。最终准确率、节拍与判定阈值，仍以正式样件在固定工装下的验证为准。
07/9事件判定
把掩膜变成「钩尖缺胶」「毛刺超高」
分割只负责看见像素；业务要的是可判定事件。事件在状态机侧立项，逻辑在 GPU 事件编排器里搭：物体存在、宽度检测等原语配上目标类别与检测区域，再用与/或/非组合。毛刺项用「宽度检测」量最大垂距——先拟合无毛刺区基准棱边，再量轮廓到基准线的距离；阈值写在配方里。
08/9状态机
到位开检，五项汇成唯一 OK / NG
状态机把离散事件编成现场流程：等待工件 → 逐项检测 → 判定合格或 NG；NG 件离位进入待复核，返修后重新到位再检。五项全合格才放行并计数；任一项命中则存 NG 图并报警。结果按工件编号关联各站，避免「站站各自 OK、整件却漏判」。
E6 五项全合格走上支路放行；E1–E5 任一命中走 NG；复核结论可追溯归档，形成可返修、可复检的闭环。机器给出的不是「某一帧看起来像不像」，而是「这一件在当前配方下是否允许过站」——带证据、可复核。
09部署闭环
多工位视角独立，结果按件汇总
具体工位数量可按机械空间合并，检测视角仍保持独立：
- 工位 A · 钩尖与支架：固定局部视角，覆盖缺陷 01、02 的缺胶、断裂与结构完整性。
- 工位 B · 顶部卡扣：固定照明与稳定姿态，覆盖缺陷 03 的形态异常。
- 工位 C · 棱边毛刺：侧视轮廓，建立基准线，分别测量缺陷 04、05 的突出高度。
工装限制位置、角度与高度波动；各站遮光、光源参数进配方。边缘计算单元承担多站并行推理、HMI 与归档；到位传感器 / PLC 负责触发采图、接收过站信号。前端提供实时画面、NG 报警、人工复核与按时间/件号/缺陷检索的追溯，配方统一管理相机、模型版本、阈值与工位启用状态——换型时改配置，而不是重写一条产线软件。
设备清单
下表只定设备类别与用途；具体型号在正式样件、机械空间与节拍复核后冻结。
| # | 设备 | 配置方向 | 用途 |
|---|---|---|---|
| 1 | 工业黑白相机 | 500 万像素、2448 × 2048、外触发 | 各独立工位采集缺陷图像 |
| 2 | 定焦工业镜头 | 前期 35 mm 定焦，按工位空间复核 | 覆盖约 35 × 25 mm 局部视场并保证目标像素 |
| 3 | 同轴光源 | CC-60-W 白色同轴光、恒流控制 | 按试拍光路增强缺胶与毛刺对比 |
| 4 | 定位工装 / 遮光结构 | 重复定位、快装快夹、便于维护 | 固定产品姿态并隔绝环境光 |
| 5 | 到位传感器 / PLC 接口 | 工业开关量或通讯接口 | 触发采图、接收结果、控制过站 |
| 6 | 边缘计算单元 | 满足多工位并行推理与数据保存 | 模型推理、尺寸计算、界面与归档 |
| 7 | HMI 与声光报警 | 工业显示器、三色灯、蜂鸣器 | 现场显示、报警、复核与操作 |
实施上按需求冻结 → 工位试验 → 量产样采集 → 模型与重复性验证 → 现场验收推进；硬件、光源、模型与阈值仅在验证完成后冻结。适用边界也很清楚：品类、缺陷形态变化频繁、需要多视角局部检测的塑胶件外观质检；深腔严重遮挡或超出成像平面的毛刺，需工艺配合或增加正交视角。
Leo
计算机视觉博士 · VisionAgent 方案与交付
研究方向为少样本分割与工业场景理解；主张把外观质检从「一缺陷一长训」迁到「少样本分割 + 事件编排 + 状态机汇总」，让阈值与感知解耦，换公差不必重训。
当前关注边缘 GPU 推理、跨域泛化与现场数据闭环。本文记录塑胶件缺陷检测方案中的成像选择、五项缺陷口径与平台配置路径。