具身智能工业视觉分析与物联监护应用演练
1 工效组合展示
将"具身智能工业视觉"与"物联监护"两大方向组合成一条"端—边—云"贯通的完整应用链路:先在昇腾工业视觉终端完成图像/视频采集与智能分析,再基于 Python + OpenCV + Tesseract 实现网络摄像机 OCR 文字识别,随后借助华为云 IoTDA 完成设备接入与数据中转,最后在 CodeArts 上完成"智慧路灯"应用的构建与部署。各部分既可独立运行,也能组合成一个可落地的工业视觉分析与物联监护演示系统。下方截图展示了整体工效组合效果。

2 具身智能工业视觉获取与分析应用
完成了工业视觉数据的获取与分析,依次进行了工具软件安装、工业视觉环境构建与应用、昇腾工业视觉终端应用展现,为后续识别编码打下硬件与环境基础。
2.1 工具软件安装
安装并配置了工业视觉开发所需的基础工具链,包括昇腾 AI 开发套件(CANN、MindSpore 等)、Python 运行环境以及 OpenCV、NumPy 等图像处理依赖库。安装时重点关注版本兼容性(Python 与 CANN 版本、驱动与固件的匹配),完成后通过命令行验证环境变量与驱动状态,确保后续视觉任务能正常调用昇腾硬件加速。下面各图展示了软件安装与配置过程。
![]()
![]()
![]()


2.2 工业视觉环境构建与应用
完成工具安装后,构建了工业视觉运行环境:配置摄像头/视频输入源,搭建"图像采集—预处理—模型推理—结果可视化"的分析流程,并针对典型工业场景(产线工件识别、标签字符识别等)做了初步应用验证,确认昇腾视觉终端在工业场景下可用。

2.3 昇腾工业视觉终端应用展现
展示了昇腾工业视觉终端的实际应用效果:终端依托昇腾芯片算力与推理框架,对工业现场画面进行实时分析,输出识别框、类别与置信度等结果。下方截图记录了终端运行界面与识别结果。




3 具身智能工业视觉识别快速编码实现

3.1 IMA-DS借力
给出 PYTHON 虚拟环境 OCR文字识别的编码及其运行过程,包括汉字,WINDOWS 环境,非COnDA,使用本机连接的网络摄像机,windows cpu

3.2 运行环境构造
编码前先搭建了运行环境,主要步骤:
- 用 python -m venv 创建虚拟环境(不依赖 Conda);
- 安装 opencv-python、pytesseract、numpy 等依赖库;
- 安装 Tesseract-OCR 引擎及中文语言包(chi_sim),配置 tesseract.exe 路径;
- 准备网络摄像机(海康/大华等)的 RTSP 地址与账号信息。
环境就绪后做了连通性测试,确认摄像机可正常取流。


3.3 编码实现
程序采用模块化结构,主要包含:
- 配置区:集中定义 RTSP 地址、Tesseract 路径、识别语言、PSM 模式、抓帧间隔等参数;
- 图像预处理:提供 original / gray / binary / adaptive 四种方式,默认灰度化;
- OCR 识别:调用 pytesseract.image_to_data 获取逐词结果,按行聚合并过滤低置信度;
- 摄像机连接:用 OpenCV CAP_FFMPEG 连接 RTSP,TCP 传输并带自动重试;
- 主流程:循环执行"抓帧—预处理—OCR—结果打印与画框—可选保存截图/日志—显示画面"。
运行命令为 python ocr_camera.py,支持 --url、--lang、--psm 等参数覆盖默认配置,完整代码见下方截图。



3.4 运行测试
程序运行后自动连接网络摄像机并进入 OCR 识别循环,终端实时打印识别到的文字及置信度,并在画面上绘制绿色检测框。测试结果显示:在灰度预处理、TCP 传输配置下,程序能稳定抓帧并正确识别画面中的中英文,验证了基于网络摄像机的工业视觉 OCR 方案可行。下方截图展示了运行与识别输出效果。

4 IoTDA中转空间构建
利用华为云 IoTDA(设备接入服务)构建了数据中转空间,完成物联网设备的接入、建模与消息上报,为物联监护应用提供数据通道。
4.0 IoTDA构造
登录华为云控制台,开通 IoTDA 服务并创建资源空间(如"智慧物联监护"空间)。资源空间是设备接入与数据隔离的逻辑容器,后续创建的产品与设备均归属该空间。下图展示了资源空间创建过程。



4.1 产品及其模型构建
产品用于定义设备的物模型(属性、服务、命令等),是设备接入的数据契约。共构建了温湿度计与吸顶灯两类产品。

4.1.1 温湿度计
温湿度计产品信息:
- 产品名称:温湿度计;协议类型:MQTT;数据格式:JSON;
- 所属行业:智能家居;所属子行业:智能家居;
- 服务 ID:T&H,包含 temperature(温度,decimal,可读可写,取值范围 -100~100)与 humidity(湿度,decimal,可读可写,取值范围 0~100)两个属性。
从"产品 → 创建产品"入口按上述信息创建。

4.1.2 吸顶灯
智能吸顶灯产品信息:
- 产品名称:智能吸顶灯;协议类型:MQTT;数据格式:JSON;
- 所属行业:智能家居;所属子行业:智能家居。
该产品用于模拟照明设备的开关与亮度等控制属性,创建方式与温湿度计一致。

4.2 设备实例化应用
产品模型定义完成后,在产品下注册具体设备实例,获取设备 ID 与密钥,并通过模拟器或真实终端进行接入与消息测试,验证端到端数据链路。
4.2.1 温湿度计设备注册及模拟测试
在温湿度计产品下注册了设备,记录设备标识与认证信息;随后通过设备模拟器上报温湿度数据,在控制台确认数据正确到达,验证了 MQTT + JSON 物模型的端到端消息链路可用。



4.2.2 吸顶灯设备注册及模拟测试
在吸顶灯产品下完成设备注册与模拟测试,验证了设备接入、消息上报及下行控制命令的完整流程,为后续智慧路灯等场景的数据接入打下基础。





5 CodeArts智慧路灯快速构建与部署
在华为云 CodeArts 上完成了"智慧路灯"应用从创建、托管、构建到部署的完整 CI/CD 流程,把前文的数据接入能力落地为可运行的应用。
5.1 应用项目创建
在 CodeArts 中创建了智慧路灯应用项目,选择技术栈与模板,初始化代码仓库与构建配置,生成对应的代码仓库与基础工程结构。




5.2 代码托管操作
把智慧路灯源代码上传/推送至 CodeArts 代码托管(Git)仓库,完成版本管理,演示了代码提交、推送及仓库浏览等操作。

5.3 构建任务设立
在项目中新建了构建任务,配置构建环境(Maven / Node / Python 等)、构建命令与产出物路径,用于将源码自动编译打包。

5.4 项目构建实现
触发构建任务后,CodeArts 自动拉取代码、执行编译与打包并输出构建结果,生成部署所需的制品包,构建日志与状态可在控制台查看。


5.5 项目部署运行
把构建产物部署到目标运行环境(ECS 弹性云服务器),完成应用启动与访问验证。部署成功后智慧路灯应用对外提供服务,整条"视觉分析—数据接入—应用部署"链路贯通。


鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。
更多推荐

所有评论(0)