领邦智能 · VisionAgent 实操

卡片缺陷检测
视觉智能体六步落地实录

工业相机 → 语义分割 → 事件 → 状态机 → 剔除:不写代码,缺陷卡当天检出当天剔除

工业视觉 阅读约 6 分钟 零代码 · 少样本 · 四态分拣

智能卡 / 钥匙卡出厂前最后一道关是外观检测:白点、黑点、划痕、脏污,一个都不能放过。卡面印刷面积小、缺陷微米级,人眼在流水线上根本盯不过来;更难的是——检测结果不是"报个警"就完事,而是要在卡片高速通过的一两秒内,给剔除机构一个干脆的"哪一路剔除"信号

这篇博客用真实案例,把 VisionAgent 视觉智能体做「卡片缺陷检测」的完整过程讲清楚:拖流程 → 标四类缺陷 → 调模型 → 配显示 → 编事件 → 画状态机 → 四类剔除

一句话先记住:相机负责"拍卡",视觉大模型负责"认出白点/黑点/划痕/脏污",事件与状态机负责"告诉剔除机构这张卡往哪丢"——全部在一套零代码平台上串起来。

为什么难卡片缺陷检测的三个坎

缺陷小、还长在不同"底色"上

白点、黑点、划痕、脏污四类缺陷形态差异大;而卡片印刷图案本身纹理复杂(LOGO、芯片槽、磁条),缺陷极易"藏"在图案里,传统模板匹配类算法一换卡面版式就失效。

"通电"窗口极短,判定必须即拍即判

卡片在产线上是连续过站的:到位 → 拍照 → 通电/判定 → 分流。留给视觉的时间通常只有几百毫秒。检测结果不能只停留在"看到",必须立刻变成哪一路剔除的开关信号,晚一拍就是误剔或漏剔。

四类缺陷要四个去处,不是"合格/不合格"两档

白点去 3 号口、划痕去 1 号口、脏污去 2 号口、黑点去 4 号口——传统做法要为一类缺陷写一套判断逻辑,多类并发时脚本越堆越乱,改一次动全身。

工业相机 图像预处理 语义分割 事件探测 状态机 剔除输出

六步实操智能体如何实现卡片检测

1

拖拉拽,搭出卡片检测流水线

零代码编排

打开软件平台,新建项目。左侧算子库把相机、大模型、逻辑、输出都做成可拖拽的"积木"。按业务顺序拖上画布、连成一条线:

  • 工业相机——接入产线相机(示例配置:1920×1200 视野、10fps、连续触发、曝光 5000、gamma 0.7);
  • 图像预处理——去噪、增强、归一化,把卡面纹理压平、缺陷凸显;
  • 语义分割——视觉检测大模型同时识别白点、黑点、划痕、脏污四类缺陷;
  • 事件探测——检出哪类缺陷,就触发哪个事件;
  • 状态机——决定这张卡进哪个剔除口。
拖拉拽搭建卡片检测流程
截图待补充请将"拖拉拽流程画布"截图保存为 assets/1.png(jpg/webp 也可)

▲ 步骤图:拖拉拽搭建卡片检测流程——工业相机 → 预处理 → 语义分割 → 事件探测 → 状态机

流程图就是程序本身,工艺人员看得懂、改得动。
2

少样本标注:教会模型四类缺陷长什么样

少样本 1–5 张

进入「语义分割」标注界面。卡面缺陷往往只有几个像素(图中 388×601 视野里的一粒白点),标注就是把目标"点"给模型看:

  • 缺陷类型按 NG1 白点 / NG2 黑点 / NG3 划痕 / NG4 脏污 建立,各自配颜色标签;
  • 用画笔 / 多边形圈出缺陷,或打开显示检测结果直接核对模型输出;
  • 每类仅需 1–5 张样本,分钟级完成训练,当天即可上线。
卡片检测流程画布
截图待补充请将原"流程画布"截图保存为 assets/2.png

▲ 步骤图:卡片项目流程——工业相机 → 预处理 → 语义分割 → 事件探测 → 状态机

不等几周训练周期,拍几张卡就设定完成。
3

调模型参数:四类缺陷各管各的阈值

模型参数

在「参数配置 → 模型参数」里做工程化微调:

  • 切图:小卡面直接原图推理,不切图;
  • 训练:图像尺寸约 672、训练代数约 200、Batch 约 2;
  • 阈值:四类缺陷(白点/黑点/划痕/脏污)分别给置信度阈值(默认 0.65),必要时再开最小面积筛选压误检。
一类一阈值,灵敏度、误检率各自可控。
4

配页面参数:缺陷怎么显示、怎么统计

页面参数

同一套参数页的「页面参数」里,把业务类别和显示效果定清楚:

  • 缺陷统计列出 NG1 白点、NG2 黑点、NG3 划痕、NG4 脏污,每类带数量统计(图示各 10);
  • 检测结果打开「显示涂抹」,字体大小、线宽按看板观感调整;
  • 点「保存参数」整机统一生效。
业务名称(白点/黑点/划痕/脏污)与算法类别(NG1–NG4)对齐,看板不乱。
5

编排事件:把"检出缺陷"变成可触发信号

GPU 事件编排

打开「检测条件编排」,为「白点」事件拖入原语。核心只用一个即可:

  • 原语选 物体存在
  • 目标类别:白点(其余三类同理,各配一个事件);
  • 检测区域:全图;切图框:不切图。

右侧事件列表即生成 E0 空事件、E1 白点、E2 黑点、E3 划痕、E4 脏污——五个标准信号,状态机和剔除机构都能直接接。

检测条件编排
截图待补充请将"检测条件编排"截图保存为 assets/4.png

▲ 步骤图:事件「白点」= 1 个原语「物体存在(白点)」,四类缺陷各配一件

检测结果封装成标准事件,后面想接报警、计数还是剔除都行。
6

画状态机:四类缺陷,四路剔除

状态机 · 核心

在「状态图编辑器」里,把"哪类缺陷去哪一路剔除"画成图:

  • 状态0 检测:默认态,空事件时停留(继续看卡);
  • 检出 白点 → 状态3;划痕 → 状态1;脏污 → 状态2;黑点 → 状态4;
  • 四个目标状态各挂一个动作——剔除-输出,分别驱动四路剔除机构。
状态图编辑器
截图待补充请将"状态图编辑器"截图保存为 assets/3.png

▲ 步骤图:状态图——检测态经四类缺陷事件分流转剔,动作均为"剔除-输出"

通电窗口内完成:看到 → 分类 → 分流,一秒不到,四路剔除各就各位。

为什么是大模型卡片检测上一张表看懂差别

环节传统视觉方案VisionAgent 视觉检测大模型
看缺陷一类一模型,换卡面版式重训一个模型同时认四类,换版式拍几张样本即可
样本量每类成百上千张标注图每类 1–5 张,分钟级训练
出信号脚本判断阈值,四类四套代码事件编排:「物体存在=白点/黑点/划痕/脏污」
做分拣PLC 硬编码分档,改一次动全身状态机画图:四类缺陷四路剔除,可视可改
上线方式算法工程师驻场调试数周拖拉拽,工艺人员当天上线

卡片只是一个切面。同一套"四类缺陷 + 四态分拣"的骨架,也能迁到 PCB 元器件、电池极片、面板玻璃、药品铝塑板等"缺陷分档、分级剔除"的场景。

写在最后

六步走完你会发现:卡片检测难的从来不是"看见缺陷",而是把看见 → 分类 → 形成事件 → 按缺陷分档剔除串成一条能在通电窗口内跑完的链路。

一句话总结智能体能力:视觉大模型负责认出四类缺陷,事件编排负责报缺陷,状态机负责分档剔除——零代码把卡片缺陷检测从定制项目,变成当天上线的标准流程。
I
Ivan
工业视觉解决方案专家 · 本文作者

硕士学历,自动化与机器视觉方向。深耕工业视觉检测十余年,早年主导传统 AOI 算法开发,近年专注视觉大模型在制造业的工程化落地。先后交付 3C 电子、家电、汽车零部件、医疗等行业的 30 余个视觉检测与 SOP 过程监控项目。