当前位置： 首页 > article >正文

CANN鸿蒙推理实践库

article 2026/5/9 15:00:23
cann-recipes-harmony-infer【免费下载链接】cann-recipes-harmony-infer本项目为鸿蒙开发者提供基于CANN平台的业务实践案例方便开发者参考实现端云能力迁移及端侧推理部署。项目地址: https://gitcode.com/cann/cann-recipes-harmony-inferLatest News[2025/12] cann-recipes-harmony-infer项目首次上线。包含Ascend C自定义算子在支付宝端侧大模型、QQ音乐声伴分离、智谱GLM-Edge-1.5b-Chat、悟空图像本地闪绘等项目中的实践。概述cann-recipes-harmony-infer 是面向鸿蒙开发者的技术实践库基于CANN 平台提供典型业务实践案例包括Ascend C 自定义算子开发实践助力开发者高效实现端云协同迁移、经验复用与端侧推理部署。✨样例列表实践简介QuantMatmul在支付宝端侧大模型实践基于Ascend C实现QuantMatmul自定义量化算子在Kirin9030设备上高性能部署。BandNorm在QQ音乐声伴分离实践实现QQ音乐声伴分离业务模型中的BandNorm等算子在鸿蒙设备上的高性能推理部署。RmsNorm在智谱GLM-Edge-1.5b-Chat大模型实践基于Ascend C实现RmsNorm算子在KirinX90设备上高性能部署。SliceGelu在悟空图像SDXL大模型实践基于Ascend C实现SliceGelu融合算子在KirinX90设备上高性能部署。SobelCustom在边缘检测CV处理实践基于Ascend C实现Sobel自定义算子在KirinX90设备上高性能部署。目录结构说明├── docs # 文档目录 ├── harmony_infer # 鸿蒙设备执行 | ├── harmony_os_next # 鸿蒙next应用工程 | ├── README.md ├── ops # 算子目录 | ├── ascendc | | ├── AddKernelInvocation # 算子Kernel执行样例 | | ├── docs # 自定义算子文档目录 | | | ├── custom-xxx.md # xxx自定义算子文档 | | | ├── ... | | ├── src # 自定义算子实现目录 | | | ├── xxx_custom # xxx自定义算子实现 | | | ├── ... └── CONTRIBUTION.md # 本仓贡献指南 └── README.md # 本仓公共README └── ...相关信息贡献指南许可证cann-recipes-harmony-infer仓涉及的模型如模型目录下存在License的以该License为准。如模型目录下不存在License的遵循Apache 2.0许可证对应协议文本可查阅LICENSE免责声明【免费下载链接】cann-recipes-harmony-infer本项目为鸿蒙开发者提供基于CANN平台的业务实践案例方便开发者参考实现端云能力迁移及端侧推理部署。项目地址: https://gitcode.com/cann/cann-recipes-harmony-infer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

相关文章：

CANN鸿蒙推理实践库

cann-recipes-harmony-infer 【免费下载链接】cann-recipes-harmony-infer 本项目为鸿蒙开发者提供基于CANN平台的业务实践案例，方便开发者参考实现端云能力迁移及端侧推理部署。 项目地址: https://gitcode.com/cann/cann-recipes-harmony-infer &#x1f5…...

编程日记 2026/5/9 15:00:23

侧信道攻击揭秘：如何从嵌入式AI黑盒中窃取Logits并生成对抗样本

1. 项目概述：当AI遇上硬件，安全边界在哪里？最近几年，嵌入式AI设备遍地开花，从智能门锁的人脸识别到工业质检的视觉模块，再到智能音箱的语音唤醒，这些设备的核心都是一个被封装好的“黑盒”AI模型…...

编程日记 2026/5/9 15:00:23

基于WebView2的ChatGPT桌面客户端开发：从原理到实践

1. 项目概述与核心价值最近在折腾一个需要集成AI对话能力的桌面应用，发现了一个挺有意思的开源项目——Akuma1tko/ChatGPT-WebView。简单来说，它就是一个用C#写的、把ChatGPT的Web版界面（也就是我们平时在浏览器里用的那个chat.openai.com&am…...

编程日记 2026/5/9 15:00:21

微分方程在机器学习中的工程化落地：PINN、Neural ODE与SINDy实战指南

1. 这不是数学课，而是一份工程师手边的微分方程实战手册你打开这篇内容，大概率不是为了重温大学里那本泛黄的《常微分方程》教材，也不是想听“微分方程是描述变化的数学语言”这种教科书式开场白。你真正关心的是：当我在调参一个物…...

编程日记 2026/5/9 15:00:19

众包平台AI渗透率达33-46%：人机协同如何重塑文本任务生态

1. 项目概述：一场关于“AI渗透率”的田野调查最近，一份关于众包平台中大型语言模型使用率的调查报告，在圈内引发了不小的讨论。报告的核心结论很直接：在当前的文本类众包任务中，大约有33%到46%的产出，背后都…...

编程日记 2026/5/9 15:00:11

CANN/pyasc反双曲正弦函数API文档

asc.language.adv.asinh 【免费下载链接】pyasc 本项目为Python用户提供算子编程接口，支持在昇腾AI处理器上加速计算，接口与Ascend C一一对应并遵守Python原生语法。 项目地址: https://gitcode.com/cann/pyasc asc.language.adv.asinh(dst: Loca…...

编程日记 2026/5/9 14:58:11

Go语言AI Agent框架go-kratos/blades：构建可维护的多模态智能应用

1. 项目概述与核心价值如果你是一名Gopher，并且最近在尝试将大语言模型（LLM）的能力集成到你的Go应用中，那你大概率经历过这样的场景：面对OpenAI、Anthropic等厂商的SDK，你写了一大堆胶水代码来处理提示词模…...

编程日记 2026/5/9 14:58:11

告别Arduino！用STM32CubeMX+LD3320打造智能语音台灯（附完整工程）

用STM32CubeMX和LD3320实现高响应智能语音台灯 从零开始构建语音控制照明系统 智能家居设备正逐渐从手机APP控制向更自然的语音交互演进。对于电子爱好者而言，自己动手打造一个响应迅速的语音控制台灯，不仅能深入理解嵌入式系统与语音识别技术的结合&…...

编程日记 2026/5/9 14:58:10

CANN/DeepSeek-OCR-2推理适配

DeepSeek-OCR-2 【免费下载链接】cann-recipes-infer 本项目针对LLM与多模态模型推理业务中的典型模型、加速算法，提供基于CANN平台的优化样例 项目地址: https://gitcode.com/cann/cann-recipes-infer 项目简介 基于 vLLM-Ascend 的 DeepSeek-OCR-2 模型昇腾…...

编程日记 2026/5/9 14:58:10

OnmyojiAutoScript：基于AI的阴阳师自动化脚本架构深度解析

OnmyojiAutoScript：基于AI的阴阳师自动化脚本架构深度解析 【免费下载链接】OnmyojiAutoScript Onmyoji Auto Script | 阴阳师脚本 项目地址: https://gitcode.com/gh_mirrors/on/OnmyojiAutoScript 作为一款专为《阴阳师》手游设计的智能辅助工具&#xff0…...

编程日记 2026/5/9 14:58:09

2026最权威的六大降AI率方案推荐榜单

Ai论文网站排名（开题报告、文献综述、降aigc率、降重综合对比） TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 一键生成论文技术近些年于学术辅助范畴快速兴起，其关键价值是借助自然语言处理跟…...

编程日记 2026/5/9 14:56:09

HarmonyOS 6 ArkUI 运动路径动画（motionPath）使用文档

文章目录运动路径动画核心1. 组件作用2. 核心适用场景3. 官方标准参数示例代码解析1 状态变量定义2 运动路径动画核心配置对应功能解析：3 动画触发逻辑对应功能：4 布局控制运行效果完整代码总结运动路径动画核心 1. 组件作用 motionPath 是 ArkUI 提供…...

编程日记 2026/5/9 14:56:09

AGI赋能物联网：从数据管道到智能体网络的范式革命

1. 项目概述：当AGI遇见物联网，一场静默的范式革命最近和几位做物联网平台和边缘计算的朋友聊天，大家不约而同地提到了一个词：AGI，也就是通用人工智能。这让我意识到，我们可能正站在一个技术融合的奇点上。过…...

编程日记 2026/5/9 14:56:09

CANN/hcomm HCCL通信管理器API

HcclGetRootInfo 【免费下载链接】hcomm HCOMM（Huawei Communication）是HCCL的通信基础库，提供通信域以及通信资源的管理能力。 项目地址: https://gitcode.com/cann/hcomm 产品支持情况 Ascend 950PR/Ascend 950DT：支持A…...

编程日记 2026/5/9 14:56:05

从设备树到CAN总线：在RK3399开发板上用SPI驱动MCP2515的保姆级避坑指南

从设备树到CAN总线：在RK3399开发板上用SPI驱动MCP2515的保姆级避坑指南 RK3399作为一款性能强劲的六核处理器，在工业控制和嵌入式领域有着广泛的应用。而CAN总线作为一种高可靠性的现场总线协议，在汽车电子和工业自动化中扮演着重要角色。本文…...

编程日记 2026/5/9 14:55:54

调节效应不只是‘分组回归’：用真实商业案例讲透它在AB测试与产品策略中的应用

调节效应不只是‘分组回归’：用真实商业案例讲透它在AB测试与产品策略中的应用 在互联网产品的迭代优化中，AB测试已成为验证新功能效果的标准工具。但当我们发现某个新功能的整体效果"不显著"时，是否就意味着这个功能毫无价值&…...

编程日记 2026/5/9 14:53:54

cann/cann-recipes-infer DeepSeek-R1推理优化

DeepSeek-R1或Kimi-K2模型在NPU实现高性能推理 【免费下载链接】cann-recipes-infer 本项目针对LLM与多模态模型推理业务中的典型模型、加速算法，提供基于CANN平台的优化样例 项目地址: https://gitcode.com/cann/cann-recipes-infer 概述 DeepSeek-R1和Kim…...

编程日记 2026/5/9 14:53:54

基于LangChain.js与Azure构建企业级RAG聊天应用实战指南

1. 项目概述：构建一个基于LangChain.js的RAG聊天应用 如果你正在寻找一个能快速上手的、企业级的AI聊天应用模板，这个项目绝对值得你花时间研究。它不是一个简单的“Hello World”示例，而是一个完整的、生产就绪的解决方案，展示了…...

编程日记 2026/5/9 14:53:53

长期项目使用Taotoken按Token计费带来的成本可控性体验

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 长期项目使用Taotoken按Token计费带来的成本可控性体验 在中长期AI应用项目的开发与维护过程中，成本管理是一个贯穿始终…...

编程日记 2026/5/9 14:53:53

CANN/shmem Root Info工具指南

Root Info Generate 工具 - 用户指南 【免费下载链接】shmem CANN SHMEM 是面向昇腾平台的多机多卡内存通信库，基于OpenSHMEM 标准协议，实现跨设备的高效内存访问与数据同步。 项目地址: https://gitcode.com/cann/shmem 概述 root_info_generat…...

编程日记 2026/5/9 14:53:52

OpenClaw-Lightcone插件：为AI智能体赋予云端计算机操作能力

1. 项目概述：当AI智能体获得“云端之手” 如果你正在探索AI智能体（Agent）的边界，尤其是如何让它们像真人一样操作电脑、浏览网页、处理数据，那么你很可能已经遇到了一个核心瓶颈： 环境依赖 。传统的浏览…...

编程日记 2026/5/9 14:51:51

【收藏备用】2026年版｜普通人程序员如何快速切入AI行业？破除焦虑，找对落地路径

这篇文章想聊清楚一个所有小白和程序员都关心的现实问题：在AI热潮席卷各行各业的2026年，普通人到底该怎么切入AI行业、学好大模型？ 如果你最近也在焦虑、在内耗，看着每天冒出的AI新工具、新概念，不知道该学什么、不知道…...

编程日记 2026/5/9 14:51:51

动态域名解析工具diny：基于Cloudflare API的轻量级DDNS解决方案

1. 项目概述：一个轻量级、可定制的动态域名解析工具最近在折腾个人服务器和家庭网络服务时，我又一次被动态公网IP的问题给绊住了。相信很多自己搭网站、建NAS或者跑一些自研服务的朋友都深有体会：运营商给的公网IP说变就变，一旦IP…...

编程日记 2026/5/9 14:51:51

如何搭建个人游戏云：Sunshine串流服务器完全指南

如何搭建个人游戏云：Sunshine串流服务器完全指南 【免费下载链接】Sunshine Self-hosted game stream host for Moonlight. 项目地址: https://gitcode.com/GitHub_Trending/su/Sunshine Sunshine是一款开源的自托管游戏串流服务器，专为Moonlight…...

编程日记 2026/5/9 14:51:51

35岁转行AI，社恐杨老师教你如何在大模型时代找到自己的坐标（收藏版）

本文分享了AI开发者“社恐杨老师”的真实故事，他35岁从化学工程转向AI领域，通过自学补齐机器学习底层数学，并成功将AI技术落地企业真实场景。文章核心内容包括：从AI 1.0到AI 2.0，技术会变但“寻找有效需求”是长期不变…...

编程日记 2026/5/9 14:51:50

CANN/asc-tools msobjdump工具

msobjdump 【免费下载链接】asc-tools Ascend C Tools仓是CANN基于Ascend C编程语言推出的配套调试工具仓。 项目地址: https://gitcode.com/cann/asc-tools 概述 本工具主要针对生成的算子ELF文件（Executable and Linkable Format）提供解析和解…...

编程日记 2026/5/9 14:49:33

完全掌握Blender插件：5大实战技巧高效处理虚幻引擎PSK/PSA格式

完全掌握Blender插件：5大实战技巧高效处理虚幻引擎PSK/PSA格式 【免费下载链接】io_scene_psk_psa A Blender extension for importing and exporting Unreal PSK and PSA files 项目地址: https://gitcode.com/gh_mirrors/io/io_scene_psk_psa io_scene_psk…...

编程日记 2026/5/9 14:49:28

EFGP查提交申请记录

select serialNumber,processInstanceName, subject, (case when currentState1 then 進行中 when currentState3 then 已結案 when currentState4 then 已撤銷 when currentState0 then 未開始 else 已暫停 end) from ProcessInstance(nolock) where left(serialNumber,4)L…...

编程日记 2026/5/9 14:49:19

CANN竞赛Add算子测试设计

决赛题目：Add 算子测试用例设计 【免费下载链接】cann-competitions 本仓库用于 CANN 开源社区各类竞赛、开源课题、社区任务等课题发布、开发者作品提交和展示。 项目地址: https://gitcode.com/cann/cann-competitions 任务说明 本题目要求参赛者为 CANN …...

编程日记 2026/5/9 14:49:09

Java基础十六：枚举，包，反射

一、枚举（Enum） 1. 什么是枚举 枚举是一种特殊的类，用于定义一组固定的常量。 2. 基本用法 // 最简单的枚举 public enum Season {SPRING, SUMMER, AUTUMN, WINTER }// 使用枚举 public class TestEnum {public static void main(String[…...

编程日记 2026/5/9 14:49:02