领邦智能 · VisionAgent / 落地实践

医药行业洁净车间七步洗手法项目落地实践

逐步识别、单步计时、结果判定——工人进入洁净车间前完成标准洗手,系统同步记录八个步骤的状态与时长

本篇要点

  • 核对八个步骤。内、外、夹、弓、大、立、腕七个手部动作,加上最后的擦手。
  • 逐步显示结果。画面标注当前动作,右侧步骤卡同步显示用时和“时间达标/时间不足”状态。
  • 输出最终结论。饰品异常会触发不合格提示;八个步骤完成后,页面显示“洗手合格”。
  • 软件完成编排。五个算子在张量流画布中依次连接,S0–S8 状态图管理八个动作的推进。
  • 形成工程定义。客户提出的 SOP 进一步拆分为动作、顺序、状态、异常和输出,最终落到软件配置中。
案例 01案例中,左侧显示动作识别画面,右侧显示八个步骤的状态与计时。

洁净车间入口需要核对工人是否按标准流程完成洗手。现场页面把连续动作拆成八张步骤卡,系统识别当前动作,记录各步骤用时,并在流程结束后给出结论。

01/5项目要求

逐步核对标准洗手流程

本项目围绕洁净车间入口的标准洗手流程展开。系统依次核对内、外、夹、弓、大、立、腕七个手部动作,并把最后的擦手纳入流程。

  1. 01 内掌心相对揉搓
  2. 02 外手背交替揉搓
  3. 03 夹指缝交叉揉搓
  4. 04 弓指背弯曲揉搓
  5. 05 大拇指旋转揉搓
  6. 06 立指尖掌心揉搓
  7. 07 腕手腕交替揉搓
  8. 08 擦完成擦手

页面同时呈现当前动作、单步状态和流程结论。当前动作显示在识别画面上,单步状态显示在八张步骤卡中,最终结论显示在页面顶部。

02/5判定过程

动作、时长与异常同步显示

系统运行时,手部轮廓和动作标签跟随画面更新。右侧八张卡片分别对应八个洗手步骤:已完成的步骤显示绿色,时间不足的步骤显示琥珀色,尚未进行的步骤保持未激活状态。

饰品检测独立于八个洗手步骤。案例中检测到饰品时,识别画面先标出“错误:饰品”,随后页面顶部显示“洗手不合格,检测到饰品”,八张步骤卡同步标红。

饰品解除后,系统继续核对后续动作。

完成擦手后,第八张步骤卡更新,页面顶部显示“洗手合格,所有步骤已完成”。

03/5运行结果

案例中的三个关键画面

15:55:52,左手腕佩戴棕色手串,画面标出错误饰品
图 01 · 15:55:52左手腕上的棕色手串清晰可见,识别画面直接标出“错误:饰品”;步骤 1 显示 0 秒、时间不足。
15:56:11,步骤 1 达标,步骤 2 时间不足
图 02 · 15:56:11画面识别为 C2:外。步骤 1 显示 4 秒、时间达标;步骤 2 显示 0 秒、时间不足。
15:57:03,页面显示洗手合格
图 03 · 15:57:03擦手动作完成后,页面顶部显示“洗手合格,所有步骤已完成”,八张步骤卡均已完成。

04/5边缘智能体

在张量流画布中完成算子编排

VisionAgent 视觉智能体软件部署在边缘侧,负责检测任务的配置、执行、展示和结果输出。

对本案例而言,相机接入、模型加载、张量流编排、实时识别、画面标记和运行状态都集中在同一套软件中,实施人员可以完成从张量流配置到结果核对的完整操作。

01推训一体:模型与张量流在边缘侧完成

“推训一体”把样本标注、模型训练、模型加载和实时推理放在同一套边缘系统中。

项目调试时可以在现场更新模型和张量流;进入运行状态后,由同一设备处理实时画面并生成识别结果。

实际配置从三项工作开始:接入相机、选择模型、新建张量流。当前张量流的节点和连线保存在张量流画布中,后续调整识别动作或判定关系时,可以直接修改对应节点和状态。

02五个算子组成洗手张量流

本案例通过“零代码拖拉编排”完成张量流配置。实施人员从左侧算子库选择所需算子,拖入画布并按数据流向连接,无需编写算法代码。洗手张量流画布由五个算子组成:

七步洗手法 AI 行为管理张量流画布,五个算子依次连接
界面 01七步洗手法 AI 行为管理张量流画布。工业相机、图像预处理、语义分割、事件探测和状态机五个算子依次连接,组成从画面采集到流程判定的张量流。
  • 工业相机:接入洗手工位的实时画面,为后续算子持续提供图像。
  • 图像预处理:整理相机画面,使输入满足视觉模型的处理要求。
  • 语义分割:识别当前手部动作,并在画面上生成贴合双手外形的轮廓与类别标签。
  • 事件探测:把模型识别结果转换为张量流可以使用的事件信号。
  • 状态机:根据事件推进洗手步骤,维护当前流程状态并生成判定依据。

语义分割负责判断“当前是什么动作”,事件探测和状态机继续判断“流程走到哪一步”。这条处理链把每一帧的识别结果连接成完整的洗手过程。

03状态图管理八个动作的推进

进入状态图编辑器后,洗手 SOP 以节点和连线呈现。S0 是开始计时,S1–S7 对应“内、外、夹、弓、大、立、腕”,S8 对应擦手;E0–E7 分别连接相邻步骤。

状态之间的先后关系可以直接在图上查看和调整。

七步洗手法状态图编辑器,S0 至 S8 状态按顺序连接
界面 02状态图编辑器。S0 为“开始计时”,S1–S7 对应“内、外、夹、弓、大、立、腕”,S8 对应“擦”;E0–E7 按步骤连接各状态。

事件到达后,软件更新当前状态,并同步刷新右侧步骤卡。饰品作为独立异常结果显示在运行页面中,检测到饰品时直接给出不合格提示。

张量流画布负责连接采集、处理、识别和判定,状态图负责规定八个动作的推进顺序。

04同一界面完成监控、展示与输出

张量流运行后,软件在实时画面上叠加动作类别和手部轮廓,右侧步骤卡显示每一步的计时与状态,页面顶部给出流程结论。

实施人员可以在同一界面查看相机、模型、张量流和运行结果。

视觉智能体软件同时具备接口输出能力,可通过 HTTP 推送类别、轮廓等结构化结果。

项目需要与 MES/SCADA 等上位系统对接时,可以根据现场接口要求继续配置结果字段和推送方式。

这套项目最终形成四项可见结果:当前动作能够实时识别,八个步骤能够逐项核对,各步骤状态和计时能够同步显示,洗手结果能够形成明确结论。

标准洗手流程由此形成一份可核对、可统计的过程记录。

05项目体会

把客户需求翻译成系统能执行的规则

这个项目给我最深的体会,是客户需求与现场系统之间需要一次完整的“工程翻译”。

客户提出“进入洁净车间前要按七步洗手法完成洗手”,这句话明确了目标;系统还需要知道识别哪些动作、怎样记录每一步、哪些情况判不合格,以及最终输出什么结果。

在项目中,这项需求经历了三层拆解:

  1. 业务要求:进入洁净车间前完成标准洗手,饰品异常需要被及时发现。
  2. 判定规则:核对“内、外、夹、弓、大、立、腕、擦”八个动作,同步记录步骤状态并生成最终结论。
  3. 软件配置:用五个算子建立张量流,再通过 S0–S8 状态图规定流程的推进关系。

三层内容对齐后,视觉模型的识别结果才能进入现场流程。需求定义越清楚,后面的图像采集、模型训练、张量流配置和验收口径越稳定。

感悟项目落地往往藏在细节里

我最大的感悟是,项目落地往往藏在细节里。客户说“按七步洗手法洗完”,听上去只有一句话,真正开始实施以后,每个动作、每段计时、每个异常都需要明确口径。

这些细节逐项确认之后,系统最终成为现场愿意使用、结果经得起复核的工具。

回看整个项目,四个问题贯穿了实施过程:系统看什么、什么时候算完成、什么情况直接不合格、结果怎样留存。

洁净车间入口如需核对标准洗手流程,可结合现场工位视频和 SOP,进一步确认识别步骤、判定内容与系统接口。

北京领邦智能装备股份公司 · VisionAgent · 联系方式见公众号菜单栏

每一次执行都有据可查、值得信任 这是这个项目让我真正理解的技术价值。

ETHAN
ZHOU

Ethan Zhou

北京领邦智能装备股份公司 · VisionAgent 方案与交付

专注视觉智能体在工业现场的方案设计与落地,工作内容涵盖场景可行性评估、现场图像采集与数据集构建、模型训练调优。

工作内容还包括零代码张量流编排,以及检测结果与 MES/SCADA 等上位系统的对接。

关注如何把现场 SOP 转化为机器可识别、可判断、可记录的执行规则。文章主要记录项目实施中的实际配置、判断逻辑与现场结果。