大模型视觉 · 外观质检 / 落地方案
AL / CU 两种极耳片、30 类缺陷名、1410 mm 长边—— 把缺陷名归并成 7 个成像族,用一只 36 分区光源换入射角,用少样本分割把 30 类收进 4 套配方。
极耳片是锂电池的电流出口:金属基材上覆一条绝缘胶带,宽度几十毫米、长边超过一米。这类件的外观质检长期靠人工目检——缺陷小、类型多、形态相近,人眼一个班次盯不住,漏检直接流到电芯里;缺陷图片和结论也很少留下结构化记录,回头追溯只能靠记忆。本方案要解决的不是「有没有模型」,而是把 30 类缺陷名收敛成可配置、可复核、可复制的检测口径。
01/10现场矛盾
拿到的缺陷清单有 30 条:AL 极耳 14 项、CU 极耳 14 项、压印类 2 项。名字之间差异很大——「堆胶不良」和「多胶(两片混料)」是工艺上的两个原因,「异物 0.3 mm」和「异物 0.5 mm」是质量上的两个档位。但如果按传统 AOI 的做法,30 个缺陷名就意味着 30 套样本、30 组阈值、30 次现场调试,每换一种材质或一批来料还要重来一遍。训练工程师长期驻场,产线复制无从谈起。
换个角度:相机看不见「工艺原因」,只看见灰度。堆胶和多胶在画面里都是胶带边界外的一片突起,0.3 mm 与 0.5 mm 异物在画面里是同一条掩膜的两个档位。真正需要区分的,是「要用什么光才能让它显形」。所以第一步不是选模型,是把 30 个缺陷名压回到成像层面,看看到底有几种不同的看见方式。
缺陷清单是按工艺写的,检测方案得按成像写;这两套口径不对齐,后面每一步都要多付一次成本。
02/10缺陷归族
按「在画面里长什么样、需要什么光」重排,30 条清单收成 7 族。归族的直接收益是:族内共用一套光路和一套分割类别,只有跨族才需要换配方;30 次现场调试因此压到 4 组打光实验(见第 04 节)。
| 族 | 覆盖 | 成像特征 | 量化方式 |
|---|---|---|---|
| 变形 | 4 项 | 整片或倒角的轮廓偏离基准形状 | 轮廓与基准的最大偏差 |
| 胶量异常 | 8 项 | 胶带覆盖区的位置、边界或厚薄异常,胶区轮廓越界、堆叠或缺位 | 胶区边界位置与覆盖面积 |
| 胶体损伤 | 2 项 | 胶面本身破损、凹点或缺口,表面局部高光与暗斑变化 | 损伤区面积与最大尺寸 |
| 划伤 · 磨伤 | 4 项 | 金属基材的细线状与片状损伤,常在单像素量级 | 划痕长度与最大宽度 |
| 气泡 | 2 项 | 胶层与基材之间的封入气体,呈近圆形弯顶 | 等效直径 |
| 夹杂 · 污染 | 8 项 | 纤维、异物、脏污,尺寸跨度大 | 掩膜最大外接尺寸,按 0.3 / 0.5 mm 分档 |
| 压印 | 2 项 | 压印区的成型异常,2.5D 项带浅浮雕落差 | 压印区轮廓与深度对比 |
两点值得说明。其一,AL 与 CU 是两种基材,但同一族的成像逻辑一致——铜的反射率更高,体现为同一配方里的亮度补偿,而不是另起一族。其二,异物的 0.3 mm 与 0.5 mm 不是两个类别,而是同一条掩膜上的两个档位:分割给出轮廓,事件层把最大外接尺寸与阈值比较,改验收档位只改这个毫米数,模型不用重训。这一点对频繁变更公差的产线尤其重要。
03/10成像口径
清单里最小的判据是 0.3 mm 异物。要让它在画面里稳定成形,采样精度必须先定下来。前期成像验证取 0.017 mm/pixel:0.3 mm 目标约占 18 像素,0.5 mm 约 29 像素——这个量级足够让像素级分割贴住轮廓,也足够把两个档位分开。反过来,如果采样精度松到 0.05 mm/pixel,0.3 mm 只剩 6 像素,再强的模型也只是在猜。
由 0.017 mm/pixel 和 4096 × 3000 反推,单帧视场就是 68 × 52 mm。这个数字随后决定了两件事:镜头取 25 mm 定焦、WD 约 120 mm;以及 1410 mm 的长边必须分段拍摄——这是第 05 节要处理的工位形态问题。光源之所以贴得比相机近(LD2 约 55 mm),是为了把分区之间的入射角差拉得更开,同时给上下料留出机械空间。
相机、镜头与光源为成像验证阶段的选型;曝光、工作距离与工位布局,以正式样件、机械空间与真实节拍复核后冻结。
04/10分区打光
七个族对光的要求并不相同:划伤是基材上的一道微观沟槽,本身没有高度,只有近同轴光把光原路送回镜头时,沟槽侧壁才会偏离亮场、显出暗线;气泡是胶层下的一个弯顶,只有掠射才会在正面留下一侧亮、一侧暗的小圆斑;胶面划伤介于两者之间,需要扇区内缘的中高角。如果每种形态配一套灯,工位上要挂四组光源,成本和机械空间都撑不住。
36 分区白色光源解决的正是这件事。分区本来就分布在不同半径与方位上,点亮哪一圈、哪几个方位,等价于换了入射角——不用动相机、不用换镜头、不用加光源,切换只是发一条配方指令。四类形态因此收成四套配方,沿同一条轴排开:缺陷越接近纯纹理,光越往内环走;越是立体起伏,光越往外环走。
打光配方是可复制的资产:换产品时改的是分区组合与亮度,不是重新设计一套光机结构。
05/10分段拍摄
单帧视场只覆盖产品长边的二十分之一。1410 ÷ 68 ≈ 20.7,不重叠也要 21 段;留 10 % 搭接约 23 段。每一段还要把 4 套打光配方各曝光一次才能覆盖 7 个缺陷族,于是单件曝光落在 84–92 帧。节拍的主要矛盾就出在这里,而不在推理耗时。
百帧量级的曝光往下有三条路:单相机沿长边扫描,用运动机构换时间;多相机并列分段,用硬件换时间;或者按工艺把必检区域收敛,让分段数降下来。三条路各有代价,取舍要在 PoC 阶段用正式样件和真实节拍拍定,不能在方案阶段拍板。此处的分段数与曝光数是按上节参数推算的量级,最终以现场标定为准。
06/10张量流
视觉智能体部署在边缘侧:配置、推理、展示与结果输出在同一套软件里完成,零代码拖拉编排——从算子库拖出节点、按数据流连接。本项目不是单路串行,而是按打光配方分成四条支路:每条支路先点亮对应分区,再采图、分割、探测事件,四路事件汇入同一个状态机,最后存图并经串口对接 PLC。
双击节点进入子编辑器:语义分割 → 标注工具,事件探测 → GPU 事件编排器,状态机 → 状态图编辑器。换产品主要改配方与样本,不必推倒重来;同一条流复用到其他规格或工位时,改的是分区组合与阈值,而不是重写一条产线软件。
07/10语义分割
极耳的缺陷边界大多不规则:划伤是细碎的线,异物是任意形状的斑,胶凸点是一片渐变的亮区——框回归很难贴合,而后续的档位判定又依赖轮廓尺寸。方案因此走像素级语义分割:每类目标在标注工具里用少量现场图定类别,产品侧按 1–10 张样本图、数分钟配置 起步,输出掩膜后再算面积、长度或最大外接尺寸。
这一步是「30 类缺陷」能落地的前提。少样本底座意味着新增一类缺陷不必重启一轮采集与长训——AL 与 CU 之间、批次与批次之间,形态相近的类别往往只需少量补标即可迁移。训练与推理都在边缘 GPU 本地完成,工位画面不出厂,既保实时性,也减少数据外传。
08/10事件判定
分割只负责看见像素;业务要的是可判定事件。事件在 GPU 事件编排器里搭:物体存在、宽度检测、数量检测等原语配上目标类别与检测区域,再用与/或/非组合。异物档位就是在这里落地的——先由「物体存在」确认掩膜命中夹杂族,再由「宽度检测」取掩膜最大外接尺寸与毫米阈值比较。
把阈值放在事件层而不是模型里,是这套结构的关键。0.3 mm 与 0.5 mm 共用一条掩膜、共用一个模型,改验收档位只改一个毫米数;同理,胶区越界的容差、划痕长度的上限,都在配方里改,感知层不动。
09/10状态机
分段拍摄带来一个人工目检没有的问题:一件产品会产生二十多段、上百帧的结论,必须有东西把它们收成一个结论。状态机把离散事件编成现场流程:工件到位后进入分段扫描,每段跑完四套配方就自回一次、推进到下一段;全部段位、全部缺陷族都合格才放行并计数,任一族在任一段命中就转 NG,存图时连段位与类别一起记录。NG 件离位进入待复核,复判后重新到位再检。
E9 段位推进使 S1 自回,逐段扫完全长;E8 全段全族合格走上支路放行,E1–E7 任一族命中走 NG 并保留证据,复核结论可追溯归档。机器给出的不是「某一帧看起来像不像」,而是「这一件在当前配方下是否允许过站」——带段位、带类别、可复核。
10部署闭环
整套系统落在五层结构上:相机与分区光源负责采集;千兆工业以太网在内网传输,图像不出厂区;边缘 GPU 完成分割推理、事件判定与状态机流转;前端提供实时画面、NG 报警、人工复核与按时间/件号/缺陷检索的追溯;配方统一管理相机参数、分区组合、模型版本与阈值。原图、掩膜、结果图与结论按件归档,既是追溯材料,也是下一轮模型优化的样本来源——现场跑得越久,可用样本越多,这正是持续迭代的输入。
下表只定设备类别与配置方向;具体型号在正式样件、机械空间与节拍复核后冻结。
| # | 设备 | 配置方向 | 用途 |
|---|---|---|---|
| 1 | 工业相机 | 4096 × 3000、外触发 | 采集表面、边缘与胶区图像,对应 0.017 mm/pixel |
| 2 | 定焦工业镜头 | 25 mm 定焦、WD 约 120 ± 10 mm | 匹配 68 × 52 mm 单帧视场 |
| 3 | 分区光源 | 36 分区白色光源、分区亮度可编程 | 按配方切换入射角,覆盖四类成像形态 |
| 4 | 运动或多相机分段机构 | 按 21–23 段的分段方案选型 | 覆盖 1410 mm 长边 |
| 5 | 定位治具 | 重复定位、快装快夹 | 固定极耳片姿态,保证成像一致性 |
| 6 | 到位传感器 / PLC 接口 | 工业开关量或通讯接口 | 触发采图、接收结果、控制过站 |
| 7 | 边缘计算单元 | 满足多配方并行推理与数据保存 | 模型推理、尺寸计算、界面与归档 |
| 8 | HMI 与声光报警 | 工业显示器、三色灯、蜂鸣器 | 现场显示、报警、复核与操作 |
分阶段推进,每一阶段都有可验收的输出:
| 阶段 | 周期 | 主要工作 | 输出物 |
|---|---|---|---|
| 启动调研 | 1 周 | 现场踏勘、样品确认、缺陷归族核对、节拍与成像评估 | 调研报告 · 缺陷族确认表 |
| 方案设计 | 1 周 | 分区配方、分段方案、检测区域、模型与规则设计 | 详细设计 · 部署方案 |
| 试点部署 | 2 周 | 设备安装、相机标定、样本标注、配方与事件配置、联调 | 上线系统 · 配置记录 · 培训材料 |
| 试运行优化 | 2 周 | 按误报/漏报样本调整阈值与模型,稳定节拍与报表 | 优化报告 · 验收材料 · 运维手册 |
| 推广复制 | 按需 | 扩展到其他规格与工位,扩展缺陷族与统计报表 | 多规格部署 · 平台升级 |
适用边界也说清楚:本方案面向缺陷类型多、形态相近、公差档位常变的金属—胶复合表面质检。分段扫描的节拍上限由机械方案决定,超出节拍要求时需以多相机并列或缩小必检范围来平衡;胶层内部缺陷、卷曲或严重翘曲工件超出景深范围的部分,需要工艺配合或增加正交视角。文中所有参数与分段量级来自前期成像验证与推算,识别率与判定阈值以正式样件在固定工装下的验证为准。
Blue
工业视觉算法工程师 · 本文作者
计算机视觉方向,长期做光学成像与缺陷分割的工程落地。习惯先把打光与采样口径定住,再谈模型;近年主要用少样本视觉大模型替代逐类调参的传统 AOI,参与过 3C 结构件、家电五金、锂电与汽车零部件的产线检测与 SOP 过程监控部署,也负责现场标定、配方管理与上线后的持续迭代。
点击任意处关闭