智能设备上的 AI 移植与部署:新趋势与实践案例
1. 引言:智能设备如何运行 AI?
随着人工智能(AI)技术的快速发展,AI 计算已经从云端走向边缘,嵌入到智能设备中,如智能手机、智能摄像头、机器人、自动驾驶汽车等。这种本地化 AI 计算能够减少延迟、提升隐私保护、降低带宽依赖,使得智能设备能够独立运行 AI 模型。
本文将深入探讨 AI 在智能设备上的移植与部署,包括国内外热门芯片的支持、流行的 AI 框架、部署案例,并分析未来的发展趋势。

2. 为什么 AI 需要在智能设备上运行?
传统的 AI 计算依赖于云端服务器,但对于智能设备而言,本地 AI 计算有以下优势:
✅ 1. 降低延迟,提高实时性
例如,智能摄像头在检测到异常行为时,能够立即报警,而不需要将视频数据传输到云端再进行处理。
✅ 2. 保护隐私,提升数据安全
例如,智能手机上的人脸识别解锁,数据完全存储在本地,不会上传云端,保护用户隐私。
✅ 3. 降低云计算成本与带宽依赖
例如,智能家居设备(如扫地机器人)可以本地运行 AI 算法,无需频繁连接云端,大幅降低服务器成本。
3. 主流 AI 计算芯片:国内外对比
为了实现高效的本地 AI 计算,芯片厂商开发了专门的 AI 加速器。以下是国内外领先的 AI 计算芯片:
🔹 国际 AI 芯片
| 芯片 | 公司 | 应用场景 |
|---|---|---|
| Apple M1/M2 | Apple | iPhone、iPad、Mac 的 AI 计算 |
| Qualcomm Snapdragon AI Engine | 高通 | 安卓智能手机(AI 摄像、语音识别) |
| NVIDIA Jetson | NVIDIA | 机器人、自动驾驶、边缘 AI |
| Google Edge TPU | 智能摄像头、物联网设备 |
🔹 国内 AI 芯片
| 芯片 | 公司 | 应用场景 |
|---|---|---|
| 华为 Ascend | 华为 | 服务器、边缘计算 |
| 兆芯 ZX | 兆芯 | 物联网 AI 计算 |
| 旷视 Brain++ | 旷视科技 | 计算机视觉、安防 |
| 地平线 Journey | 地平线 | 自动驾驶、智能驾驶舱 |
📌 趋势:随着国内芯片的成熟,越来越多的智能设备开始采用华为 Ascend、地平线 Journey、兆芯 ZX 等国产 AI 芯片。
4. AI 部署的关键技术
在智能设备上部署 AI,涉及多个关键技术:
🔹 1. 轻量化 AI 模型(TinyML)
由于智能设备的计算能力有限,传统的 AI 模型需要进行优化,例如:
- 量化(Quantization):将 32-bit 浮点数转换为 8-bit 整数,提高运行速度。
- 剪枝(Pruning):删除不必要的神经元,减少计算量。
- 知识蒸馏(Knowledge Distillation):用大模型训练小模型,提高小模型的准确率。
📌 示例:Google 的 TensorFlow Lite、华为 MindSpore Lite 允许在智能设备上运行优化后的 AI 模型。
🔹 2. 硬件加速(NPU / GPU / Edge TPU)
- NPU(神经网络处理器):如华为 Ascend,可高效处理深度学习任务。
- Edge TPU(边缘 AI 处理单元):如 Google Edge TPU,适用于低功耗 AI 计算。
- GPU(图形处理单元):如 NVIDIA Jetson,可运行计算机视觉任务。
🔹 3. 主流 AI 部署框架
| 框架 | 支持芯片 | 特点 |
|---|---|---|
| TensorFlow Lite | 高通、树莓派、Google Edge TPU | 轻量级,适用于移动设备 |
| PyTorch Mobile | Apple、Android 设备 | 适用于 PyTorch 训练的 AI 模型 |
| ONNX Runtime | 跨平台 | 可在 Windows、Linux、树莓派运行 |
| MindSpore Lite | 华为 Ascend | 适用于国产芯片 |
📌 示例:树莓派可以运行 TensorFlow Lite,在边缘设备上实现目标检测。
5. 真实案例:智能设备上的 AI 部署
📌 案例 1:树莓派 + YOLO 实现目标检测
树莓派 4B 结合 TensorFlow Lite + YOLOv5,可以用于实时目标检测,如:
python3 detect.py --weights yolov5s.tflite --source 0
✅ 应用场景:智能安防、宠物监控。
📌 案例 2:华为 Ascend + MindSpore 部署 AI 计算机视觉
华为 Atlas 200DK(基于 Ascend 310)运行 MindSpore Lite,可以实现:
python3 infer.py --model face_recognition.ms
✅ 应用场景:智能门禁、工业检测。
📌 案例 3:NVIDIA Jetson + ROS 机器人导航
使用 Jetson Xavier NX 运行 SLAM(同时定位与建图):
roslaunch slam.launch
✅ 应用场景:自动驾驶机器人、无人机。
6. 未来趋势与展望
✅ 更强大的 AI 硬件:国产 AI 芯片(如地平线 Journey)正在挑战国外市场。
✅ 更高效的 AI 框架:TensorFlow Lite、MindSpore Lite 继续优化性能。
✅ 更多边缘 AI 设备:未来智能家居、无人机、医疗设备将普遍搭载 AI 计算。
7. 结论
🚀 AI 正在改变智能设备,让设备具备更强大的计算能力,降低对云计算的依赖。
🎯 国内外 AI 芯片竞相发展,华为 Ascend、地平线 Journey、NVIDIA Jetson 都已支持边缘 AI。
📌 AI 轻量化、硬件加速和主流框架 共同推动智能设备上的 AI 部署变得更加高效。
💡 如果你正在开发智能设备,建议选择合适的 AI 芯片 + 轻量化 AI 框架,实现高效 AI 部署!
相关文章:
智能设备上的 AI 移植与部署:新趋势与实践案例
1. 引言:智能设备如何运行 AI? 随着人工智能(AI)技术的快速发展,AI 计算已经从云端走向边缘,嵌入到智能设备中,如智能手机、智能摄像头、机器人、自动驾驶汽车等。这种本地化 AI 计算能够减少延…...
【USRP】NVIDIA Sionna:用于 6G 物理层研究的开源库
目录 Sionna:用于 6G 物理层研究的开源库主要特点实现6G研究的民主化支持 5G、6G 等模块化、可扩展、可伸缩快速启动您的研究 好处原生人工智能支持综合研究平台开放生态系统 安装笔记使用 pip 安装基于Docker的安装从源代码安装“你好世界!”探索锡奥纳…...
LLM大型语言模型(一)
1. 什么是 LLM? LLM(大型语言模型)是一种神经网络,专门用于理解、生成并对人类文本作出响应。这些模型是深度神经网络,通常训练于海量文本数据上,有时甚至覆盖了整个互联网的公开文本。 LLM 中的 “大” …...
BUU44 [BJDCTF2020]ZJCTF,不过如此1 [php://filter][正则表达式get输入数据][捕获组反向引用][php中单双引号]
题目: 我仿佛见到了一位故人。。。也难怪,题目就是ZJCTF 按要求提交/?textdata://,I have a dream&filenext.php后: ......不太行,好像得用filephp://filter/convert.base64-encode/resourcenext.php 耶?那 f…...
软考中级-数据库-3.3 数据结构-树
定义:树是n(n>=0)个结点的有限集合。当n=0时称为空树。在任一非空树中,有且仅有一个称为根的结点:其余结点可分为m(m>=0)个互不相交的有限集T1,T2,T3...,Tm…,其中每个集合又都是一棵树,并且称为根结点的子树。 树的相关概念 1、双亲、孩子和兄弟: 2、结点的度:一个结…...
磁盘空间不足|如何安全清理以释放磁盘空间(开源+节流)
背景: 最近往数据库里存的东西有点多,磁盘不够用 查看磁盘使用情况 df -h /dev/sda5(根目录 /) 已使用 92% 咱们来开源节流 目录 背景: 一、开源 二、节流 1.查找 大于 500MB 的文件: 1. Snap 缓存…...
SpringCloud系列教程(十二):网关配置动态路由
除了token以外,还有一个很实用的功能就是把网关的路由配置放到nacos上,并且修改路由配置的时候,网关服务可以动态的更新,这样我们在调整网络配置的时候,就不用重启服务了。所以我们需要用到两个重要的类:Na…...
Java-实现PDF合同模板填写内容并导出PDF文件
可用于公司用户合同导出pdf文件 效果图 一、导入所需要jar包 <!--生成PDF--><dependency><groupId>com.itextpdf</groupId><artifactId>itextpdf</artifactId><version>5.5.11</version></dependency><dependency&…...
基于STM32的环境监测系统(自制蓝牙APP)
目录 项目概述 实物图 演示视频 概述 硬件模块 原理图以及PCB 0.96寸OLED屏幕(SSD1306) CubeMX配置 初始化代码 MQ-2烟雾传感器 CubeMX配置 初始化代码 DHT11温湿度模块 驱动代码 HC-05蓝牙模块 CubeMX配置 编辑 空闲中断回调函数 有…...
C++ Windows下屏幕截图
屏幕截图核心代码(如果要求高帧率,请使用DxGI): // RGB到YUV的转换公式 #define RGB_TO_Y(r, g, b) ((int)((0.299 * (r)) (0.587 * (g)) (0.114 * (b)))) #define RGB_TO_U(r, g, b) ((int)((-0.169 * (r)) - (0.331 * (g)) …...
月结保障:回滚慢、行锁频发
问题背景 3.1号月结现场保障,到场了先让kill了一个账务的会话,回滚了20min,巡检的时候发现报表库有几条行锁:enq: TX - row lock contention,sql:delete from table_name 语句已经失败,正在回滚…...
Golang的微服务服务发现机制
## 1. Golang微服务服务发现机制 微服务架构已经成为当今软件开发的主流趋势,它能将复杂的单体应用拆分成小而独立的服务单元,实现更快的开发、部署和扩展。在微服务架构中,服务发现是非常重要的一环,它能够实现服务之间的自动发现…...
Keepalived 入门详解:高可用集群部署最佳实践!
1. 什么是 Keepalived? 在分布式集群中,单点故障(SPOF) 是影响系统稳定性的重要问题。Keepalived 作为一款高可用服务软件,可以有效防止集群单点故障,保障系统的高可用性。 Keepalived 最初是为 LVS&#…...
SparkStreaming之04:调优
SparkStreaming调优 一 、要点 4.1 SparkStreaming运行原理 深入理解 4.2 调优策略 4.2.1 调整BlockReceiver的数量 案例演示: object MultiReceiverNetworkWordCount {def main(args: Array[String]) {val sparkConf new SparkConf().setAppName("Networ…...
开发博客系统
前言 准备工作 数据库表分为实体表和关系表 第一,建数据库表 然后导入前端页面 创建公共模块 就是统一返回值,异常那些东西 自己造一个自定义异常 普通类 mapper 获取全部博客 我们只需要返回id,title,content,us…...
微信小程序上如何使用图形验证码
1、php服务器生成图片验证码的代码片段如下: 注意红框部分的代码,生成的是ArrayBuffer类型的二进制图片 2、显示验证码 显示验证码,不要直接image组件加上src显示,那样拿不到cookie,没有办法做图形验证码的验证&…...
IntelliJ IDEA 构建项目时内存溢出问题
问题现象 在使用 IntelliJ IDEA 构建 Java 项目时,遇到了以下错误: java: java.lang.OutOfMemoryError: Java heap space java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space这是一个典型的 Java 堆内存不足错误,表…...
大模型微调与RAG检索增强技术深度解析
一、引言 随着人工智能技术的飞速发展,大模型(如BERT、GPT等)在自然语言处理、计算机视觉等领域取得了显著成效。然而,这些预训练好的大模型往往难以直接应用于特定业务场景,因此,大模型微调(F…...
[liorf_localization_imuPreintegration-2] process has died
使用liorf,编译没报错,但是roslaunch报错如下: 解决方法: step1: 如果你之前没有安装 GTSAM,可以尝试安装它 step2: 检查是否缺少依赖库 ldd /home/zz/1210/devel/lib/liorf_localization/liorf_localization_imuPr…...
2024 年 MySQL 8.0.40 安装配置、Workbench汉化教程最简易(保姆级)
首先到官网上下载安装包:http://www.mysql.com 点击下载,拉到最下面,点击社区版下载 windows用户点击下面适用于windows的安装程序 点击下载,网络条件好可以点第一个,怕下着下着断了点第二个离线下载 双击下载好的安装…...
数列极限入门习题
数列极限入门习题 lim n → ∞ ( 1 1 2 1 3 ⋯ 1 n ) 1 n \lim\limits_{n\rightarrow\infty}(1 \frac{1}{2}\frac{1}{3}\cdots\frac{1}{n})^{\frac{1}{n}} n→∞lim(12131⋯n1)n1 lim n → ∞ ( 1 n 1 1 n 2 ⋯ 1 n n ) \lim\limits_{n\rightarrow\…...
【Python/Pytorch】-- 创建3090Ti显卡所需环境
文章目录 文章目录 01 服务器上,存在三个anaconda,如何选择合适的,创建python环境?02 conda、anaconda、cuda、cudnn区别03 用到一些指令04 如何指定cuda的版本?05 conda跟pip的区别?06 pycharm控制台07 服…...
如何在无图形化界面的服务器上下载百度网盘的超大文件(10GB以上)?
目录 登录百度网盘账号 进入特定的文件夹 下载 完整教程 登录百度网盘账号 第一次登录的时候会展示: Please visit: https://openapi.baidu.com/oauth/2.0/authorize?client_idxxx And authorize this app Paste the Authorization Code here within 10 minut…...
AI应用测试:遇到类ChatGPT的流式接口要如何压测?
先说结论: 使用最普遍的JMeter 就能支持类 OpenAI 的流式接口(如 ChatGPT 的流式聊天接口)的测试 总体设置 JMeter 支持测试 OpenAI 的流式接口,但需要额外配置(如启用 KeepAlive 和调整超时)。如果需要实时处理流式响应,使用 Regular Expression Extractor 或自定义脚…...
Linux磁盘情况查询
一、查询系统整体磁盘使用情况 1、基本语法 df -h 2、示例 二、查询指定目录的磁盘占用情况 1、基本语法 du -h 查询指定目录的磁盘占用情况,默认为当前目录 2、常用选项 选项 说明 -h 以人类可读的格式显示磁盘使用情况(例如,KB、…...
数据库原理3
1.在SQL中,外模式对应于试图(VIEW)和部分基本表;模式对应于基本表;内模式对应于存储文件。 2.FETCH:实施游标推进 3.数据操纵:insert,update,delete 数据控制:grant,revoke 数据定义:create,drop,alter 4.物理结构…...
【3D格式转换SDK】HOOPS Exchange技术概览(二):3D数据处理高级功能
在当今数字化工程领域,HOOPS Exchange作为一款强大的SDK,为3D工程应用程序的开发提供了关键支持。本文将深入剖析其基本组件、特定功能以及数据结构,带您全面了解这一驱动3D数据处理的核心工具。 一、概述 HOOPS Exchange专注于访问和重…...
利用Adobe Acrobat 实现PPT中图片分辨率的提升
1. 下载适用于 Windows 的 64 位 Acrobat 注册方式参考:https://ca.whu.edu.cn/knowledge.html?type1 2. 将ppt中需要提高分辨率的图片复制粘贴到新建的pptx问价中,然后执行“文件—>导出---->创建PDF、XPS文档” 3. 我们会发现保存下来的distrib…...
Python frozenset介绍
在 Python 中,frozenset 是一种不可变(immutable)的集合类型,它是 set 的不可变版本。与普通的 set 类型不同,frozenset 的内容一旦创建就不能被修改,这使得它在某些场景下非常有用。 1. 特点 不可变性&am…...
docer swarm集群部署springboot项目
1.准备两台服务器,安装好docker、docker-compose 因为用到了docker仓库,安装harbor,可以从github下载离线安装包 2. 我这边用到了gitlab-ci,整体流程也都差不多 1)打包mvn clean install 2)打镜像 docker-compose -f docker-compo…...
