HarmonyOS NEXT 技术实践-基于基础视觉服务实现骨骼点识别

本示例展示了如何在HarmonyOS Next中实现基于基础视觉服务的骨骼点识别功能。骨骼点识别是计算机视觉中的一项重要技术，广泛应用于运动分析、健身监控和增强现实等领域。通过使用HarmonyOS Next提供的视觉API，开发者能够轻松地对人物图像进行骨骼点检测，并返回准确的骨骼点信息。本文将详细介绍项目的实现过程，包括如何调用骨骼点检测API、设计应用界面，以及如何展示识别结果。通过本示例，开发者将深入了解如何在HarmonyOS Next环境中集成视觉识别技术，并实现图像中的骨骼点自动识别和分析功能。

---

一、项目背景与目标

1. 框架介绍

HarmonyOS Next提供了一整套的视觉服务框架，使开发者可以轻松实现图像识别、处理等功能。特别是基础视觉服务，它为开发者提供了丰富的API接口，支持包括骨骼点识别、物体检测、人脸识别等多种图像分析任务。

在智能设备和应用中，骨骼点识别功能被广泛应用于运动分析、健身跟踪、虚拟人物建模等领域。目前，HarmonyOS Next的骨骼点识别功能支持17个关键点的识别，具体为鼻子，左右眼，左右耳，左右肩，左右肘、左右手腕、左右髋、左右膝、左右脚踝。

本示例使用了 基础视觉服务 提供的 骨骼点识别 功能，结合HarmonyOS Next的开发平台，演示如何通过图像中的骨骼点检测，实现人物的骨骼结构识别和展示。开发者可以通过这个示例，掌握如何在HarmonyOS Next应用中集成并调用视觉识别API。

2. 项目目标

本项目旨在展示如何使用HarmonyOS Next基础视觉服务进行骨骼点识别，帮助开发者快速了解如何集成骨骼点识别功能。通过实现该功能，用户可以在应用中上传一张人物全身照片，系统自动识别并返回图片中的骨骼点信息。

具体目标如下：

• 实现骨骼点识别API的调用。
• 用户可以上传图片或拍照，应用识别人物骨骼点并展示。
• 骨骼点信息通过文本形式展示，帮助用户理解和分析图像中的人物结构。

---

二、项目实现

1. 项目目录结构

以下是本项目的目录结构：

├─ entry/src/main/ets
│  ├─ entryability
│  │  └─ EntryAbility.ets            // 程序入口
│  ├─ entrybackupability
│  │  └─ EntryBackupAbility.ets
│  └─ pages
│     └─ Index.ets                   // 应用主界面
└─ entry/src/main/resources          // 资源文件目录

• EntryAbility.ets：程序的入口文件，负责应用初始化和界面设置。
• Index.ets：应用的主界面，用户在该界面中选择图片并启动骨骼点识别。
• resources目录：存放资源文件，如图片、图标等。

2. 项目实现

本示例使用的核心功能是调用骨骼点识别接口，该接口在@hms.ai.vision.skeletonDetection.d.ts中定义，开发者可以通过该API处理上传的图片，获取人物的骨骼点信息。

1. 导入骨骼点检测接口：
   在项目中需要先导入骨骼点检测的API：

   import { skeletonDetection } from '@hms.ai.vision.skeletonDetection';
   

2. 选择图片或拍照：
   用户通过点击按钮选择本地图库中的图片，或直接使用相机拍摄一张新的图片。

3. 调用骨骼点识别接口：
   使用process方法调用骨骼点识别服务：

   skeletonDetection.process({uri: 'imageUri'  // 图片的路径或URI
   }).then(response => {// 处理返回的识别结果console.log('骨骼点识别结果:', response);
   }).catch(error => {console.error('骨骼点识别失败:', error);
   });
   

4. 展示结果：
   将识别到的骨骼点信息通过文本形式显示在应用界面上，帮助用户查看识别结果。

3. 注意事项

• 图片格式：确保上传的图片格式符合基础视觉服务的要求，一般支持JPG、PNG等常见格式。输入图像具有合适成像的质量（建议720p以上），100px<高度<10000px，100px<宽度<10000px，高宽比例建议5:1以下，接近手机屏幕高宽比例为宜。
• API限制：该骨骼点识别API可能会对处理的图片大小、分辨率等有所限制，开发者需要提前了解相关文档。
• 权限管理：在使用相机或访问图库时，需要合理配置相应的权限，如CAMERA和READ_EXTERNAL_STORAGE等。

---

三、核心代码解析

1. 导入必要的依赖

在Index.ets文件中，我们首先导入骨骼点识别API和其他必要的模块：

import { skeletonDetection } from '@hms.ai.vision.skeletonDetection';
import { ImagePicker, Camera } from '@ohos.multimedia.media';

2. 图片选择与拍照

我们实现了两个功能：从图库选择图片和直接通过相机拍摄图片。以下是从图库选择图片的代码：

const selectImage = () => {ImagePicker.pickImage().then(uri => {// 获取到图片URIstartSkeletonDetection(uri);}).catch(error => {console.error('选择图片失败:', error);});
};

3. 调用骨骼点识别接口

当图片选择完成后，调用骨骼点识别接口进行处理：

const startSkeletonDetection = (imageUri) => {skeletonDetection.process({uri: imageUri}).then(response => {displaySkeletonPoints(response);}).catch(error => {console.error('骨骼点识别失败:', error);});
};

4. 显示识别结果

识别结果以文本的形式展示：

const displaySkeletonPoints = (response) => {const points = response.skeletonPoints;  // 假设API返回的结果包含骨骼点数组let resultText = '识别到的骨骼点信息：\n';points.forEach((point, index) => {resultText += `点${index + 1}: (${point.x}, ${point.y})\n`;});console.log(resultText);
};

---

四、效果预览

在应用启动后，用户可以选择图片或者拍摄一张照片，点击“开始骨骼点识别”后，应用会开始识别图片中的骨骼点并在界面上以文本形式展示结果。以下是效果预览：

1. 选择图片：用户选择图片或拍照。

2. 识别过程：点击“开始骨骼点识别”后，应用将处理图片并进行骨骼点识别。

3. 结果展示：识别到的骨骼点信息通过文本在界面上展示。

---

五、总结

通过本项目的实现，我们学习了如何利用HarmonyOS Next中的基础视觉服务，进行骨骼点识别功能的开发。通过调用@hms.ai.vision.skeletonDetection API，开发者可以轻松实现对人物全身图像的骨骼点检测，为智能健身、运动分析、虚拟现实等应用提供技术支持。

本示例展示了如何集成图像识别API，如何获取图片并传递给识别服务，最终将结果展示给用户。开发者可以基于此示例进一步扩展功能，如对不同类型的图像进行处理、优化识别精度、结合其他AI能力等，提升应用的智能化水平。