导出LLaMA等LLM模型为onnx
通过onnx模型可以在支持onnx推理的推理引擎上进行推理，从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖，获得更好的性能等优势。
这篇博客（大模型LLaMa及周边项目（二） - 知乎）进行了llama导出onnx的开创性的工作，但是依赖于侵入式修改transformers库，比较不方便。
这里本人实现了避免侵入式修改transformers库导出LLM为ONNX方法，代码库为:
https://github.com/luchangli03/export_llama_as_onnx/tree/main
可以在这个基础上进行简单修改从而导出其他模型，例如百川，Qwen等模型。当前已经加入了对Qwen的导出支持。
该方案优点是无需侵入式修改transformers代码，缺点是你需要提前了解各个模型的输入，相关shape和dtype。
导出的llama decoder会存在if算子，但是经过符号shape推导和设置相应的符号shape到onnx模型value_info，然后经过onnxsim可以完全去掉。也可以考虑修改llama定义代码去掉if。优化前后：
相关文章：
导出LLaMA等LLM模型为onnx
通过onnx模型可以在支持onnx推理的推理引擎上进行推理，从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖，获得更好的性能等优势。 这篇博客（大模型LLaMa及周边项目（二） - 知乎）进行…...
回顾 OWASP 机器学习十大风险
日复一日，越来越多的机器学习 (ML) 模型正在开发中。机器学习模型用于查找训练数据中的模式，可以产生令人印象深刻的检测和分类能力。机器学习已经为人工智能的许多领域提供了动力，包括情感分析、图像分类、面部检测、威胁情报等。 数十亿美…...
ENSP软件的基本使用命令(第三十一课)
ENSP软件的基本使用命令(第三十一课) 下面的图片是今天操作的核心基础操作 1 命令行页面 交换机 路由器 PC机 分别展示一下 页面的样子 2 基本命令结构...
五、FreeRTOS数据类型和编程规范
1、数据类型 (1)每个移植的版本都含有自己的portmacro.h头文件，里面定义了2个数据类型。 (2)TickType_t FreeRTOS配置了一个周期性的时钟中断：Tick Interrup每发生一次中断，中断次数累加，这被称为tick counttick count这个变量…...
码出高效_第二章 | 面向对象_上
目录 一. OOP理念1. 概念辨析2. 四大特性1. 抽象2. 封装3. 继承4. 多态 二. 初识Java1. JDKJDK 5-11的重要类、特性及重大改变 2. JRE关于JVM 三. 类1. 概述2. 接口和抽象类1. 概念及相同点2. 不同点3. 总结 3. 内部类4. 访问权限控制1. 由来2. public/private/无/private3. 推…...
大学生课设实训|基于springboot的在线拍卖系统
目录 项目描述 主要技术栈 功能效果 数据库设计 开发顺序 业务功能 大家好！我是龍弟-idea！需要源码资料信息可私聊我【HWL__666666】！ 项目描述 本系统是一个网上商品竞拍系统，为拍卖者和竞买者提供一个在线交流平台。本项…...
论文阅读 - Social bot detection in the age of ChatGPT: Challenges and opportunities
论文链接：https://www.researchgate.net/publication/371661341_Social_bot_detection_in_the_age_of_ChatGPT_Challenges_and_opportunities 目录 摘要： 引言 1.1. Background on social bots and their role in society 1.2. The rise of AI-gene…...
FPGA优质开源项目 - UDP RGMII千兆以太网
本文介绍一个FPGA开源项目：UDP RGMII千兆以太网通信。该项目在我之前的工作中主要是用于FPGA和电脑端之间进行图像数据传输。本文简要介绍一下该项目的千兆以太网通信方案、以太网IP核的使用以及Vivado工程源代码结构。 Vivado 的 Tri Mode Ethernet MAC IP核需要付…...
学C的第三十二天【动态内存管理】
相关代码gitee自取：C语言学习日记: 加油努力 (gitee.com) 接上期： 学C的第三十一天【通讯录的实现】_高高的胖子的博客-CSDN博客 1 . 为什么存在动态内存分配 学到现在认识的内存开辟方式有两种： 创建变量： int val …...
聊聊elasticsearch的data-streams
序 本文主要研究一下elasticsearch的data-streams data-streams 主要特性 首先data streams是由一个或者多个自动生成的隐藏索引组成的，它的格式为.ds-<data-stream>-<yyyy.MM.dd>-<generation> 示例.ds-web-server-logs-2099.03.07-000034&a…...
unreal engine c++ 创建tcp server， tcp client
TCP客户端 TcpConnect.h // Fill out your copyright notice in the Description page of Project Settings.#pragma once#include "CoreMinimal.h" #include "Common/UdpSocketReceiver.h" #include "GameFramework/Actor.h"DECLARE_DELEGATE…...
24届华东理工大学近5年自动化考研院校分析
今天给大家带来的是华东理工大学控制考研分析 满满干货～还不快快点赞收藏 一、华东理工大学 学校简介 华东理工大学原名华东化工学院，1956年被定为全国首批招收研究生的学校之一，1960年起被中共中央确定为教育部直属的全国重点大学&#…...
初识集合和背后的数据结构
目录 集合 Java集合框架 数据结构 算法 集合 集合，是用来存放数据的容器。其主要表现为将多个元素置于一个单元中，用于对这些元素进行增删查改。例如，一副扑克牌(一组牌的集合)、一个邮箱(一组邮件的集合）。 Java中有很多种集…...
选择适合你的数据可视化工具：提升洞察力的关键决策
导言： 在当今数据驱动的世界中，数据可视化工具成为了帮助我们理解和传达数据见解的关键工具之一。数据可视化不仅能够将复杂的数据转化为易于理解的可视化形式，还能帮助我们发现数据中的模式、趋势和关联。然而，随着市场上可视化工…...
H5中的draggable
基本语法及事件 draggable 属性规定元素是否可拖动。必须设置，否则没有拖拽效果及事件触发 提示： 链接和图像默认是可拖动的。 提示： draggable 属性经常用于拖放操作 语法 <element draggable"true|false|auto"> 值描…...
搭建SVN服务器
简介 SVN（Subversion）是一种版本控制工具，用于管理和跟踪文件的修改历史。它可以帮助团队协作开发，方便地共享和更新代码，同时也可以提供备份和安全控制功能。 使用SVN，你可以创建中央代码库（…...
OpenCV之信用卡识别实战
文章目录 代码视频讲解模板匹配文件主程序(ocr_template_match.py)myutils.py 代码 链接: https://pan.baidu.com/s/1KjdiqkyYGfHk97wwgF-j3g?pwdhhkf 提取码: hhkf 视频讲解 链接: https://pan.baidu.com/s/1PZ6w5NcSOuKusBTNa3Ng2g?pwd79wr 提取码: 79wr 模板匹配文件 …...
Detector定位算法在FPGA中的实现——section1 原理推导
关于算法在FPGA中的实现，本次利用业余的时间推出一个系列章节，专门记录从算法的推导、Matlab的实现、FPGA的移植开发与仿真做一次完整的FPGA算法开发，在此做一下相关的记录和总结，做到温故知新。 这里以Detector在Global Coordinate System（原点为O）中运动为背景，Detect…...
心电信号去噪：方法与应用
目录 1 去噪技术的发展历程 2 滤波器去噪的应用 3 小波去噪的优势 4 深度学习去噪的前景...
睡眠助手/白噪音/助眠夜曲微信小程序源码下载 附教程
睡眠助手/白噪音/助眠夜曲微信小程序源码 附教程 支持分享海报 支持暗黑模式 包含了音频数据 最近很火的助眠小程序，前端vue，可以打包H5，APP，小程序 后台可以设置流量主广告，非常不错的源码 代码完整 完美运营 搭配无…...
CANN/pypto量化矩阵乘法
pypto.scaled_mm 【免费下载链接】pypto PyPTO（发音: pai p-t-o）：Parallel Tensor/Tile Operation编程范式。 项目地址: https://gitcode.com/cann/pypto 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DT√ 功能说明 实现mat_…...
Java 后端转 AI 应用开发，我发现真正的机会不在算法，而在落地
普通 Java 后端转 AI 应用开发，不要一开始就被算法、论文、训练大模型吓住。大多数企业真正需要的，是有人能把大模型接入业务、接入数据、接入权限、接入流程，并且让系统稳定上线。一、先说结论：AI 应用开发，不等于训练…...
一键部署开源 AI 项目教程：OpenClaw 下载安装启动卸载全流程
AIStarter 是什么？一文彻底讲清楚很多朋友第一次看到 AIStarter 和 PanelAI 都比较懵：这到底是个什么工具？简单来说，AIStarter 是一款专为本地 AI 部署打造的一键安装管理平台，它能帮助开发者快速下载、安装、启动各种…...
工具调用优化：减少API延迟对Agent性能的影响
《工具调用优化全指南：彻底解决API延迟拖累大模型Agent性能的痛点》 副标题：从原理到落地，覆盖缓存、并行、调度、轻量化改造全链路可复现方案 第一部分：引言与基础 1.1 摘要/引言 你有没有遇到过这种场景：辛辛苦苦开发的智能Agent功能非常强大，能查订单、搜资料、算数…...
Unity Low Poly动物资源包：性能优化与开箱即用实践指南
1. 这个Low Poly Animated Animals资源包到底解决了什么问题？在Unity项目开发中，尤其是独立游戏、教育模拟、原型验证或轻量级AR应用里，我见过太多团队卡在“生态感”这个看似简单实则棘手的环节上。不是没有动物模型——恰恰相反，…...
网页端嵌入 Agent 对接前端方案
本文将深入探讨「网页端嵌入AI」的核心概念与实战技巧，帮助你快速掌握关键要点。让我们开始吧！ 网页端嵌入 Agent 对接前端方案 1. 引言 当前前端项目正从被动展示走向主动交互，AI Agent 嵌入网页端可自动化 UI 操作、优化布局并辅助编码。…...
LDDC终极指南：如何快速获取精准的逐字歌词
LDDC终极指南：如何快速获取精准的逐字歌词 【免费下载链接】LDDC 简单易用的精准歌词(逐字歌词/卡拉OK歌词)下载匹配工具|A simple and user-friendly tool for downloading and matching precise lyrics (word-by-word lyrics/Karaoke lyrics) 项目地址: https:/…...
5分钟快速上手！网易云无损音乐下载完整指南：免费获取高品质音乐
5分钟快速上手！网易云无损音乐下载完整指南：免费获取高品质音乐 【免费下载链接】Netease_url 网易云无损解析 项目地址: https://gitcode.com/gh_mirrors/ne/Netease_url 想要免费获取网易云音乐的无损音质歌曲吗？Netease_url项目让你…...
fltk-rs常见问题解决方案：从编译错误到运行时问题的全面排查
fltk-rs常见问题解决方案：从编译错误到运行时问题的全面排查 【免费下载链接】fltk-rs Rust bindings for the FLTK GUI library. 项目地址: https://gitcode.com/gh_mirrors/fl/fltk-rs fltk-rs是Rust语言的FLTK GUI库绑定，为开发者提供了轻量级…...
Spring AI生产环境 Checklist：20条黄金法则
前言 本文总结Spring AI生产环境部署的最佳实践，涵盖配置、安全、监控、性能四大维度，每条都是实战经验。 一、配置管理（5条） 1. API Key必须通过环境变量注入 # ✅ 推荐 spring:ai:openai:api-key: ${OPENAI_API_KEY}# ❌ 禁…...