VisionAgent / 落地实践

先铺平,再占比
视觉智能体落地多化肥比例抽检

0.3%–0.6%静态重复定位精度 · 同堆连续采图极差值
2%–3%动态重复定位精度 · 重新铺料后再测
3s振动铺平,停振后才允许拍照
半自动下料侧翻 35°–45° + 短振 1–2s 清盘

化肥颗粒进入后,智能体如何实现在线检测比例?

案例 01实时监控演示。左侧是检测画面,右侧是三类面积、总占比和配方上下限;三类都在限内为 OK,任一类超差为 NG。

现场不是先拍一批图片、再离线算比例,而是把视觉检测嵌进一次抽检节拍。三类化肥倒进托盘之后,依次经过六个环节。

  1. 人工上料。操作员把三类颗粒倒入振动托盘。允许预先混合、随机放置。此时不拍照。
  2. 振动铺平 3s。按下振动按钮,电磁振动平台震动 3 秒,把颗粒摊成单层。不允许堆放、叠放,也不允许在震动过程中采图。
  3. 停振给拍照信号。3 秒到时自动停振。光电/完成信号到位后,才向相机发软触发。
  4. 俯视采图与推理。500 万相机按工作距离 500 mm 俯视取图,送 VisionAgent 做三类分割和面积占比计算。
  5. 输出 OK/NG。三类占比都在配方区间内,三色灯亮绿灯;任一类超差,红灯加蜂鸣。HMI 同步显示各类比例。
  6. 侧翻下料。判定锁存之后,气缸把托盘向电柜对侧翻 35°–45°,再短振 1–2 秒清盘,颗粒滑入宽口接料斗。回水平锁定后,才允许下一盘。
层级 组成 职责
铺平与下料 电磁振动托盘、侧翻气缸、水平锁、宽口接料斗 3s 摊成单层;判定后侧翻 + 短振清盘;回位锁死才能再检
光学成像 500 万相机、16mm 镜头、四条高位白色条形光 托盘正上方俯视;条光在视野锥外侧斜打满盘,不挡镜头
视觉软件 VisionAgent 3.0、配方阈值、HMI 看板 种类分割、面积占比、OK/NG 判定、原图归档
信号执行 光电、三色灯、蜂鸣器 停振后给拍照信号;绿灯放行、红灯报警

视觉系统不改人工倒料这个动作,补上的是中间的判断和下料:先保证单层可见,再把像素面积变成三类占比,最后用灯和料斗把结论落到工位上。

智能体内部

张量流把抽检链路摆在同一张画布上

VisionAgent 不把采集、训练和判定拆成三套软件。停振信号进来之后,工业相机、图像预处理、语义分割、事件探测和状态机排在同一条张量流上。拖拉拽摆定节点,换方只改阈值,不必另建工程。

VisionAgent 张量流画布:工业相机接到图像预处理、语义分割、事件探测与状态机
软件 01张量流。左侧是算子库,中间是本工位链路:工业相机 → 图像预处理 → 语义分割 → 事件探测 → 状态机。右侧配置三类面积阈值、检出置信度和防抖。

算子库里每个节点的职责是固定的。落到这一盘化肥上,分割输出的是 1/2/3 类颗粒,事件探测认的是「物体存在」,不是缺陷。

视觉大模型,少样本、强泛化

三类颗粒靠颜色和形态区分,没有裂纹那样可以写进规则的几何特征。换个角度、换个光照,同一堆料看上去就不一样。按传统小模型的路子,往往要攒上万张图,训练周期以月计;抽检换方又勤,等不到那个时候。

少样本标出三类,再在线上迭代

项目开始时,从现场单层图像里挑出有代表性的样本,在标注页标成 1/2/3 类,执行少样本迁移,再逐张复核掩膜是否贴颗粒、有没有把托盘底色吃进去。

之后遇到首批样本没覆盖的新料、新光照,留下图像、补充标注就能继续迭代。不必从头攒数据重训,相机接入和张量流配置也不用动。

三类化肥颗粒的检出条件

GPU 事件编排器里,三类各写一条「物体存在」:目标类别分别是 1 类、2 类、3 类,检测区域为全图,不切图。右侧状态机 E0/E1/E2 与这三条事件对齐,三类都按同一套条件检出,面积占比才有同一口径。

1 类化肥颗粒检出条件:物体存在,检测区域全图
条件 011 类颗粒。事件「物体存在」,目标类别 1 类,全图、不切图。
2 类化肥颗粒检出条件:物体存在,检测区域全图
条件 022 类颗粒。同一条「物体存在」规则,目标类别改为 2 类。
3 类化肥颗粒检出条件:物体存在,检测区域全图
条件 033 类颗粒。E2 与 3 类事件对齐,三类共用全图检出。

工艺前提

为什么必须先铺平

占比按像素面积算:Pᵢ = Sᵢ / (S₁+S₂+S₃) × 100%。相机看见的是投影,不是称重。颗粒一旦叠放,下层被挡住,面积失真,占比就不能用。

所以振动不是可选项。本方案把铺平时长锁在 3 秒,到时自动停振;震动过程中相机不采图。停振且托盘到位,才是拍照的唯一允许时刻。

示意 01振动铺平动画。成堆倒入后,托盘震动 3 秒,三类颗粒摊成单层;叠放会挡住下层,这一步做不到,后面的占比都没有意义。

OK 的条件也很硬:三类占比都落在配方上下限内,才亮绿灯;任一类超差,红灯加蜂鸣。配方阈值在 HMI 上可配,换方时改限值,不必改光机。

一台智能体做完判断

种类判断和面积占比,都在这一台里

VisionAgent 视觉智能体产品图:黑色一体化机身,侧面网口阵列,机身带散热开孔
设备 01VisionAgent 视觉智能体。相机接入、样本标注、迁移训练、占比计算和 OK/NG 输出,都在这一台的同一套软件里完成。图源:领邦智能。

这套抽检工位只配一台边缘智能体。相机管理、三类分割、面积占比、配方对照、声光输出,都在这一台上跑——实施人员不需要在采集软件、训练平台和判定程序之间来回切换。

和传统“拍完图再拿去电脑上算”不同:停振信号进来,采图、分割、算占比、出灯,是同一条链路。原图和结果一并归档,复盘时能对上这一盘料。

光机与下料

俯视看整盘,条光在视野外斜打

三类颗粒的颜色差要靠均匀照明托出来。相机挂在托盘正上方,工作距离 500 mm;四条白色条形光高挂在龙门四周,位于视野锥外侧,斜向下把整盘打亮。灯不进画面,也不挡镜头。

名称 规格 数量 用途
工业相机500 万像素1 台顶部俯视采图
工业镜头焦距 16mm1 支匹配视野与物距
白色条形光高亮均匀条形光4 套视野外斜打满盘、消阴影
电磁振动平台托盘 + 振动控制1 套铺平 3s;下料短振 1–2s
光电传感器对射/反射式1 套停振到位,给出拍照信号
侧翻气缸 + 水平锁35°–45° 侧翻1 套判定后下料,回位锁死再检
接料斗宽口深斗1 套装在电柜对侧,包住落料沿
三色灯 + 蜂鸣工业声光1 套OK 绿灯/NG 红灯 + 报警

判定之后,托盘自己把料倒出去

抽检节拍卡在下料上,人用手刮盘又慢又容易混桶。半自动方案把下料接到判定后面:气缸顶起托盘,向电柜对侧翻 35°–45°,振动平台再短振 1–2 秒,颗粒滑进宽口深斗。料斗口包住落料沿,避免洒到机架上。光机和龙门不动,只有托盘翻转;回水平锁定之前,下一盘的振动和拍照都被挡住。

硬件侧(一次定型)

  • 龙门、500 mm 物距、四条高位条光
  • 振动托盘与 3s 铺平时序
  • 侧翻气缸、水平锁、宽口接料斗
  • 光电、三色灯、蜂鸣器

软件侧(日常可配)

  • 三类分割模型与配方上下限
  • 停振 → 拍照 → 判定的张量流
  • OK/NG 声光与下料允许位
  • 原图、占比、结果归档

模型看见了什么

少样本标出三类,再算面积

三类化肥靠颜色和形态区分,没有像裂纹那样稳定的几何特征可以写规则。做法是在智能体里把典型单层样本标成 1/2/3 类,做少样本迁移,再逐张复核分割是否贴颗粒、有没有把托盘底色吃进去。

分割稳定之后,面积占比就是像素统计。粉/青/橙对应 1/2/3 类,界面上同时给出各类面积和总占比。

分割与原图对照:左分类掩膜,右原图
界面 01分割/原图对照。左为三类掩膜,右为原图。单层铺平后,边界才能用来算面积。
三类掩膜分割结果
界面 02三类掩膜。单层平铺后的分割结果,用于统计各类像素面积。
标注工作台复核三类
界面 03标注工作台。对照原图复核三类,确认模型没有把重叠颗粒算进面积。

看板上的结果

操作员看见的是占比和灯

操作员不必读分割掩膜。看板上是三类比例,工位上是绿灯或红灯。灯的颜色和占比结论指向同一盘料;需要复盘时,再打开这一盘的原图和掩膜。

信号时序也按这个顺序锁死:上料不触发拍照,振动 3 秒到时停振,光电给拍照信号,智能体软触发采图,判定之后才允许侧翻。震动中拍照、未回水平就再倒料,都被挡住。

重复性怎么测

静态 0.3%–0.6%,动态 2%–3%

重复定位精度按三类总占比的极差值来评:同一堆料各帧的 max−min。静态是料不动、连续拍;动态是重新铺料或再次放置后再测。结论写在首屏上:静态落在 0.3%–0.6%,动态落在 2%–3%。

下面这组数都从同一套界面读取「1/2/3 类总占比」,不是另算一遍。

样本 1 类总占比 2 类总占比 3 类总占比 极差值(三类)
图1 第1帧33.71%22.10%44.19%0.12% / 0.12% / 0.12%
图1 第2帧33.59%22.11%44.29%
图1 第3帧33.71%21.99%44.31%
图2 第1帧37.88%19.36%42.76%0.42% / 0.57% / 0.43%
图2 第2帧37.89%19.78%42.33%
图2 第3帧37.47%19.93%42.60%
图3 第1帧36.71%17.89%45.40%0.26% / 0.07% / 0.33%
图3 第2帧36.97%17.96%45.07%
图3 第3帧36.86%17.92%45.22%
静态结论三类极差值落在 0.3%–0.6% 区间(图2 的 0.57% 为实测上限)
数据 01静态重复性。同一堆料不挪动,连续三帧读总占比。图2 第2 类极差值 0.57%,是这组里最大的一格,对应结论上沿 0.6%。
静态图1第1帧
数据 02图1 · 33.71 / 22.10 / 44.19 · 极差值 0.12%
静态图2第1帧
数据 03图2 · 37.88 / 19.36 / 42.76 · 极差值 0.57%
样本 1 类总占比 2 类总占比 3 类总占比
动态样本 144.99%23.01%32.00%
动态样本 246.25%23.17%30.58%
动态样本 346.78%20.24%32.98%
动态样本 447.44%21.48%31.10%
极差值2.45%2.93%2.40%
数据 04动态重复性。重新放置后再测,三类极差值 2.45% / 2.93% / 2.40%,对应结论 2%–3%。2.93% 是这组上限。
0.57%静态实测上限 · 图2 第2 类极差值,结论写成 0.3%–0.6%
2.93%动态实测上限 · 四次重新铺料后第2 类极差值,结论写成 2%–3%
单层两组数都建立在振动铺平之后;叠放时这两条结论都不成立

这套工位要回答的问题很具体:三类化肥倒在一起,比例在不在配方里。相机负责看清单层,智能体负责把像素变成占比,灯和料斗负责把结论交出去。

静态极差值说明同一盘料连拍是稳的;动态极差值说明重新铺一次,偏差仍落在 3% 以内。铺平做不到,这两条都不必谈。

视觉大模型,少样本标出三类;
视觉智能体,占比、配方、OK/NG 一条链路;
先铺平,再拍照,侧翻下料,抽检闭环