领邦智能 · VisionAgent / 落地实践
逐步识别、单步计时、结果判定——工人进入洁净车间前完成标准洗手,系统同步记录八个步骤的状态与时长。
S0–S8 状态图管理八个动作的推进。洁净车间入口需要核对工人是否按标准流程完成洗手。现场页面把连续动作拆成八张步骤卡,系统识别当前动作,记录各步骤用时,并在流程结束后给出结论。
01/5项目要求
本项目围绕洁净车间入口的标准洗手流程展开。系统依次核对内、外、夹、弓、大、立、腕七个手部动作,并把最后的擦手纳入流程。
页面同时呈现当前动作、单步状态和流程结论。当前动作显示在识别画面上,单步状态显示在八张步骤卡中,最终结论显示在页面顶部。
02/5判定过程
系统运行时,手部轮廓和动作标签跟随画面更新。右侧八张卡片分别对应八个洗手步骤:已完成的步骤显示绿色,时间不足的步骤显示琥珀色,尚未进行的步骤保持未激活状态。
饰品检测独立于八个洗手步骤。案例中检测到饰品时,识别画面先标出“错误:饰品”,随后页面顶部显示“洗手不合格,检测到饰品”,八张步骤卡同步标红。
饰品解除后,系统继续核对后续动作。
完成擦手后,第八张步骤卡更新,页面顶部显示“洗手合格,所有步骤已完成”。
03/5运行结果
C2:外。步骤 1 显示 4 秒、时间达标;步骤 2 显示 0 秒、时间不足。
04/5边缘智能体
VisionAgent 视觉智能体软件部署在边缘侧,负责检测任务的配置、执行、展示和结果输出。
对本案例而言,相机接入、模型加载、张量流编排、实时识别、画面标记和运行状态都集中在同一套软件中,实施人员可以完成从张量流配置到结果核对的完整操作。
“推训一体”把样本标注、模型训练、模型加载和实时推理放在同一套边缘系统中。
项目调试时可以在现场更新模型和张量流;进入运行状态后,由同一设备处理实时画面并生成识别结果。
实际配置从三项工作开始:接入相机、选择模型、新建张量流。当前张量流的节点和连线保存在张量流画布中,后续调整识别动作或判定关系时,可以直接修改对应节点和状态。
本案例通过“零代码拖拉编排”完成张量流配置。实施人员从左侧算子库选择所需算子,拖入画布并按数据流向连接,无需编写算法代码。洗手张量流画布由五个算子组成:
语义分割负责判断“当前是什么动作”,事件探测和状态机继续判断“流程走到哪一步”。这条处理链把每一帧的识别结果连接成完整的洗手过程。
进入状态图编辑器后,洗手 SOP 以节点和连线呈现。S0 是开始计时,S1–S7 对应“内、外、夹、弓、大、立、腕”,S8 对应擦手;E0–E7 分别连接相邻步骤。
状态之间的先后关系可以直接在图上查看和调整。
S0 为“开始计时”,S1–S7 对应“内、外、夹、弓、大、立、腕”,S8 对应“擦”;E0–E7 按步骤连接各状态。事件到达后,软件更新当前状态,并同步刷新右侧步骤卡。饰品作为独立异常结果显示在运行页面中,检测到饰品时直接给出不合格提示。
张量流画布负责连接采集、处理、识别和判定,状态图负责规定八个动作的推进顺序。
张量流运行后,软件在实时画面上叠加动作类别和手部轮廓,右侧步骤卡显示每一步的计时与状态,页面顶部给出流程结论。
实施人员可以在同一界面查看相机、模型、张量流和运行结果。
视觉智能体软件同时具备接口输出能力,可通过 HTTP 推送类别、轮廓等结构化结果。
项目需要与 MES/SCADA 等上位系统对接时,可以根据现场接口要求继续配置结果字段和推送方式。
这套项目最终形成四项可见结果:当前动作能够实时识别,八个步骤能够逐项核对,各步骤状态和计时能够同步显示,洗手结果能够形成明确结论。
标准洗手流程由此形成一份可核对、可统计的过程记录。
05项目体会
这个项目给我最深的体会,是客户需求与现场系统之间需要一次完整的“工程翻译”。
客户提出“进入洁净车间前要按七步洗手法完成洗手”,这句话明确了目标;系统还需要知道识别哪些动作、怎样记录每一步、哪些情况判不合格,以及最终输出什么结果。
在项目中,这项需求经历了三层拆解:
S0–S8 状态图规定流程的推进关系。三层内容对齐后,视觉模型的识别结果才能进入现场流程。需求定义越清楚,后面的图像采集、模型训练、张量流配置和验收口径越稳定。
我最大的感悟是,项目落地往往藏在细节里。客户说“按七步洗手法洗完”,听上去只有一句话,真正开始实施以后,每个动作、每段计时、每个异常都需要明确口径。
这些细节逐项确认之后,系统最终成为现场愿意使用、结果经得起复核的工具。
回看整个项目,四个问题贯穿了实施过程:系统看什么、什么时候算完成、什么情况直接不合格、结果怎样留存。
洁净车间入口如需核对标准洗手流程,可结合现场工位视频和 SOP,进一步确认识别步骤、判定内容与系统接口。
北京领邦智能装备股份公司 · VisionAgent · 联系方式见公众号菜单栏
让每一次执行都有据可查、值得信任。 这是这个项目让我真正理解的技术价值。
Ethan Zhou
北京领邦智能装备股份公司 · VisionAgent 方案与交付
专注视觉智能体在工业现场的方案设计与落地,工作内容涵盖场景可行性评估、现场图像采集与数据集构建、模型训练调优。
工作内容还包括零代码张量流编排,以及检测结果与 MES/SCADA 等上位系统的对接。
关注如何把现场 SOP 转化为机器可识别、可判断、可记录的执行规则。文章主要记录项目实施中的实际配置、判断逻辑与现场结果。
点击任意处关闭