一个智能体，能否覆盖整厂视觉
视觉智能体覆盖整厂视觉的原理与实践

问题

整厂视觉，到底要看什么

一座工厂里的视觉任务大致三类：检查产品缺陷、核对装配状态、监控作业过程是否符合 SOP；另有扫码、定位这类常规任务。过去它们往往分属不同设备、不同供应商：外观检测一套，装配防错一套，SOP 监控再一套；换一个 SKU，就要重新收样本、重新调程序。

要用一套东西覆盖它们，技术路径得同时回答两件事：一是好不好用——一个模型能否通吃三类任务，换型时是否还要从头收样本；二是贵不贵——能否便宜到整厂铺开，而不是只做一两个试点。下面的内容，都是在回答这两件事。

产品形态

两种形态：边缘智能体与本地智能体

视觉智能体有两种产品形态，大部分能力相同，区别在集成方式。

整厂覆盖主要靠边缘智能体，下文都以它为主。

边缘部署

为什么是边缘：既不在端侧，也不在云侧

卷积时代，模型靠大量样本训练，训练往往依赖云侧或专门的训练服务器。视觉大模型是预训练的，到现场只需少量样本微调，训练在边缘就能完成——推理和训练合在同一台设备上，即推训一体。这是边缘部署成立的第一个前提。

第二个前提是网络。边缘与端之间用的就是传统工业以太网：相机图像直接送进智能体，处理结果再送回端上的看板、PLC 和报警灯。铜缆以太网单段最长 100 米，更远就在中间加光纤，所以生产线不管多长，纵向跨工位、横向跨产线都能接进同一台。

往上，边缘连 MES 或 SCADA：MES 下发配方，告诉它当前是哪个 SKU、哪个机种，它就完成切换。往下，每个工位至少一台相机取图；有工人的工位配一块看板，提示哪一步做错、提醒重做；需要分流或剔除的工位，再加 PLC 与执行机构。这些就是端侧资源。

端侧一拖一的两种极端

为什么不把算力放在端上？一拖一时只会出现两种极端：只接一台相机，算力用不完；接到十台相机，又带不动。GPU 目前仍是贵资源，按峰值给每个工位单配一份，大部分时间在闲置。

能拖多少，要算吞吐账

“一拖多”能拖多少，不是口号，而是按图像尺寸、推理吞吐和节拍算出来的。以餐盘项目为例（完整推导见 《一拖多、非常多》）：识别输入为 700×700 切片，设备推理吞吐按 200 张/秒计，现场 20 秒一个采集周期；每台 4K 线阵相机每周期折合一帧 4096×4096，按 700 切片横竖各切 6 刀，共 36 张。

现场停在 16 条线，留出 28% 的余量给补拍复核、新品试跑和后续加线。东西再好，太贵也只能做试点、铺不开；从性价比看，边缘部署最合适——一拖多、非常多，创造性价比。

通用

通用：一个基础模型，管缺陷、装配和 SOP

视觉智能体的核心是视觉检测大模型——基于 Transformer 的基础模型，而不是卷积网络。差别首先落在样本上。

卷积模型需要大量样本：一个工位往往要收集上千张。一拖多之后，工位成倍增加，SKU 还有十几个、二十多个——粗算一下，20 个工位、每个工位 20 个 SKU、每组上千张，就是 40 万张量级的采集与标注，部署非常困难，成本也非常高。预训练的基础模型针对具体 SKU，每个缺陷或目标只要 1–5 张样本。

它不是为某个领域专门训练的：缺陷检测可以，装配检查——俗称的错漏反——可以，SOP 也可以。模型只有一种输出形式，就是像素级语义分割，没有方框检测之类的分支。原因是像素分割最通用：缺陷是一片区域，零件是一块轮廓，工人的手和工具也是轮廓，都能用同一种表达，再交给事件和状态机去判断。

还要分清一点。用大模型生成缺陷图片给卷积小模型补样本，或用大语言模型给设备做交互界面，都在检测流程之外，是辅助。这里说的大模型在检测流程之内，直接出判定；它需要的样本本来就少，也用不着生成数据来补。

易用

易用：拖拉拽编排，算子少而大

现场配置不写代码：从算子库把算子拖到画布，连上线，再为节点指定相机、模型和输出对象，一条工作流就搭好了。和过去的拖拉拽工具相比，有两点不同：一是界面做得干净；二是算子高度抽象、数量很少。

• 相机算子：一个模块连接市场上各品牌工业相机，我们叫它“大算子”。
• 预处理与语义分割：语义分割是唯一的模型算子，缺陷、零件、动作都在这里分割出来。
• 事件探测与状态机：把分割结果转成事件（如目标出现、消失、停留），再按工序顺序推进与判定。
• 对外接口：Modbus、TCP/IP、串口、HTTP、MQTT，结果交给 PLC、MES 或看板。

缺陷检测、装配检查、SOP 监控用的是同一条算子链，差别只在模型类别、事件定义和状态机——这也是同一台智能体能并行跑三类任务的原因。

快速交付

快速交付：起步只要 1–5 张样本

快速交付主要也得益于大模型。标注只需把目标涂抹一下，每类目标起步 1–5 张样本。

所以在 3C 行业，一个项目一般 7 天交付，其中还可能包含若干个 SKU；餐盒行业第一条线 10 天上线。项目周期按现场设备与工程范围核定：已有成像条件和设备的工位最快，需要新做光机结构的会更长。

案例一 · 一拖十六

案例一：一次性餐盘，一台智能体拖 16 条线

16 条生产线，每条 5 台 4K 线阵相机，共 80 台，全部接入一台边缘智能体。4K 线阵图像不小，常有人担心大模型太慢、得上云。现场节拍是 20 秒一个周期，前面的吞吐账算过：80 台相机每周期 2880 张切片，占这台设备预算的 72%。

成本：16 套变 1 台

48 万对 15 万，降约七成。口径只含推理算力与软件购置；相机、光源、机架、分拣及现场工程两种方案都要配，另计。

精度：18 个班次的人工全检对照

案例二 · 一拖二十

案例二：汽车发动机装配，一台智能体管 20 个 SOP 工位

SOP 监控，就是看工人的操作是否符合 SOP 作业文件。这条汽车发动机装配线有 20 个 SOP 工位，由一台视觉智能体全部承载；每个工位 5–15 个工步逐项确认，漏步当场声光提醒，屏幕指明漏的是哪一步。项目 20 天上线。

换个角度看规模：20 个工位、每站 5–15 个工步，这台设备同时在跟踪 100 到 300 个工步的状态。工步顺序由状态机跟踪，出现跳步或漏步，当场报警。

案例三 · 一拖五

案例三：3C 智能硬件，5 个点位也能一拖

工位少怎么办？智能体已经系列化，目前分为三档；拖 SOP 时，最小一档也能带 10 个工位。这个 3C 项目只有 5 个点位、2 类任务——装配检查与 SOP 监控——用的是最小一档，还略有富余。

像素尺决定能看清多小的细节：0.06 mm/px 时 1 mm 约占 17 个像素，0.23 mm/px 时约 4 个像素；说明书、贴膜、泡棉这类以厘米计的目标，1 厘米在图上约占 43–167 个像素。各点位的焦距、工作距离与视场，见 Ryan 的 《3C行业多点位装配检查和过程监控项目落地》。

为了快速交付，我们设计了标准关节支架：相机和看板都装在同一种支架上，到现场调机位、调角度即可，不必每个工位单独做工装。

四类工位，各看什么

更多现场

24 个现场案例：同一底座，三类任务

过去，一台视觉设备很难同时承担不同任务，SOP 更是难做。演讲里汇总了 24 个现场案例：汽车 9 个、医药 3 个、家电 6 个、3C 2 个、其他 4 个；按任务分，缺陷检测 4 个、装配检查 4 个、SOP 监控 15 个，另有 1 个化肥配比检测。整厂的这些视觉任务，一个智能体都能拖起来。

各案例来自不同项目，成像条件、节拍与精度要求各不相同；“—”表示暂无公开文章。

奶粉小勺值得多说一句：它既有平面又有起伏，正是固定俯视成像最难拍全的那类零件——这也引出了最后要讲的短板。

关于领邦

领邦智能：从收集数据开始

领邦智能成立于 2016 年。从 2017 年起，我们开始积累工业图像，至今约十亿张，并在此基础上自己训练大模型。

大模型训练启动时，ChatGPT 在国内还没有广为人知，大家大概到 2023 年 3 月才开始讨论它。公司是国家级专精特新“小巨人”企业，累计授权专利 62 项、软件著作权 20 项，参与起草 GB/T 46886—2025《智能检测装备通用技术要求》。

短板

短板在成像：从经验打光走向计算成像

覆盖整厂视觉，我们还有短板，在 AI 工业质检的成像环节。成像之后的模型处理已经很通用——像餐盘项目里的 4K 图像，大模型处理得又好又快；难的是成像能不能把缺陷表现出来。

现在的成像基本是经验主义：把相机架在零件上方，拿光源围着零件转，看缺陷能不能在图像上显现。问题出在样本上——客户先给一部分样本，打光调好了；到了现场又出现没见过的缺陷，成像就搞不定。要求封样，客户也难做到，样本本来就提供不全。这是传统成像的困境。

出路在通用成像，也就是计算成像。演讲里举的例子是：拍四张图，通过计算得到两张——一张反映形状变化，一张反映反射率变化，比如脏污和杂质。

它的物理基础是漫反射（朗伯）模型：像素亮度 I = ρ·(n·l)，ρ 是该点的反射率，n 是表面法向，l 是光照方向。在多个已知方向的光源下各拍一张，每个像素就得到一组方程，可以解出 ρ 和 n——理论上三个方向就够，多一个方向用来抵御高光和阴影造成的坏点。解出来的 n 构成形状图，ρ 构成反射率图：缺陷是凹凸，就落在形状图里；是脏污、色差，就落在反射率图里。成像不再依赖为某一种缺陷试出来的打光角度，这正是“通用”的含义。

不过这方面领邦做得还不够好，所以也希望与同行合作，一起补齐这个短板。成像这块，我们希望大家都朝着通用的目标去做，杜绝经验主义，否则很多项目都会烂尾——去大工厂的生产线看一看，会发现一半的摄像头没上电。别再制造烂尾了。借助这次 AI 大模型的技术革命，把机器视觉行业的上限再往高推。

视觉大模型，少样本、强泛化；
视觉智能体，通用、易用、快速交付；
边缘部署，一拖多、非常多，创造性价比；
整厂视觉，缺陷检测、装配检查、SOP 监控。