当前位置： 首页 > article >正文

数字人本地部署之llama-本地推理模型

article 2026/3/6 5:36:08

llama 本地服务命令

llama-server.exe -m "data/LLM/my.gguf" --port   8080

-m data/LLM/my.gguf

-m 属于命令行选项，一般用来指定要加载的模型文件。

data/LLM/my.gguf 是模型文件的路径。gguf 格式的文件是一种用于存储语言模型权重的文件格式，服务器会加载这个文件里的模型权重，从而使用对应的语言模型开展任务。

--port 8080

--port 也是命令行选项，其作用是指定服务器要监听的端口号。

二、llama帮助命令

llama-server.exe --help

三、llama命令工具下载

https://github.com/ggml-org/llama.cpp/releases

 

如何选择下载版本

 cuda

cudart-llama-bin-win-cu11.7-x64.zip

四、如何查看自己电脑CPU指令

未来商城—APPSTORE 

相关文章：

数字人本地部署之llama-本地推理模型

llama 本地服务命令 llama-server.exe -m "data/LLM/my.gguf" --port 8080 -m data/LLM/my.gguf -m 属于命令行选项，一般用来指定要加载的模型文件。 data/LLM/my.gguf 是模型文件的路径。gguf 格式的文件是一种用于存储语言模型权重的文件格式&…...

编程日记 2026/2/28 0:25:40

RUOYI框架在实际项目中的应用三：Ruoyi微服务版本-RuoYi-Cloud

如需观看Ruoyi框架的整体介绍，请移步：RUOYI框架在实际项目中的应用一：ruoyi简介 一、Ruoyi微服务版本-Ruoyi微服务版本 1、官方资料 1：代码地址：https://gitee.com/y_project/RuoYi-Cloud.git 2：文档介绍…...

编程日记 2026/2/21 22:45:24

linux操作系统3

1.安装桌面的centos操作系统 二.linux相对路径和绝对路径 1.相对路径:从当前目录开始数的不完整路径 2.绝对路径:从跟开始数的完整路径 (这2种路径主要是为了方便用户操作) 3.linux用户和用户组管理 创建用户组:useradd 删除用户:userdel 用户的修改:usermod(可以修改用…...

编程日记 2026/2/18 13:19:23

windows创建开机启动任务

1、背景 一个java应用程序，需要做成开机启动，系统为windows系统。 2、创建启动脚本 创建一个 .bat 文件（例如 startup.bat），并将其保存到 Java 应用程序的目录中（如 E:\gitcode\mygit\learn\database\jdk2…...

编程日记 2026/3/3 23:28:35

素数判定方法详解：从基础试除法到优化策略

素数是只能被1和自身整除的正整数。素数的判定是数论中的基础问题，也是算法竞赛中的常见考点。 一、知识点 素数的定义： 素数（质数）是大于1的自然数，且只能被1和自身整除。 试除法： 通过遍历从2到sqrt(n)​…...

编程日记 2026/3/5 0:25:42

BFS，DFS带图详解+蓝桥杯算法题+经典例题

1.BFS和DFS的定义与实现方式 1.1 深度优先搜索（DFS） 基本概念：DFS 是一种用于遍历或搜索图或树的算法。它从起始节点开始，沿着一条路径尽可能深地探索下去，直到无法继续或者达到目标节点，然后回溯到上一个…...

编程日记 2026/3/1 20:45:28

「清华大学、北京大学」DeepSeek 课件PPT专栏

你要的 这里都打包好啦，快快收藏起来！ 名称 链接 团队简介 类型 DeepSeek——从入门到精通 1️⃣ DeepSeek从入门到精通「清华团队」 清华大学新闻与传播学院 新媒体研究中心 元宇宙文化实验室 PPT课件 DeepSeek如何赋能职场应用? ——从提示语…...

编程日记 2026/3/5 2:08:21

如何在 Github 上获得 1000 star？

作为程序员，Github 是第一个绕不开的网站。我们每天都在上面享受着开源带来的便利，我相信很多同学也想自己做一个开源项目，从而获得大家的关注。然而，理想很丰满，现实却是开发了很久的项目仍然无人问津。 最近&#x…...

编程日记 2026/3/4 6:53:16

on-policy对比off-policy

目录 持续更新。。。 on-policy与off-policy的定义 Q-learning属于on-policy算法还是off-policy算法？ 为什么off-policy适用于从离线经验或多种探索策略中学习，明明 On-policy 也可以基于探索学习的啊？ 重要性权重方法 off-policy方法可…...

编程日记 2026/3/1 13:06:02

标准卡尔曼滤波

1.状态转移方程和观测方程 状态转移方程 x k A x k − 1 B u k w k x_k A x_{k-1} Bu_k w_k xk​Axk−1​Buk​wk​ x k x_k xk​：k时刻的 状态向量，理论上的真实状态。 x k − 1 x_{k-1} xk−1​：k-1时刻的 状态向量，理论…...

编程日记 2026/2/14 6:48:47

主流区块链

文章目录 主流链1. Solana特点：适用场景：工具链： 2. Binance Smart Chain (BSC)特点：适用场景：工具链： 3. Avalanche特点：适用场景：工具链： 4. Polkadot特点：…...

编程日记 2026/3/2 7:05:42

pytorch中有哪些损失函数

L1Loss 计算预测值 ypred 和真实值 ytrue 之间的平均绝对误差（MAE），公式为 L ( y p r e d , y t r u e ) 1 n ∑ i 1 n ∣ y p r e d i − y t r u e i ∣ L(y_{pred},y_{true})\frac1n\sum^n_{i1}|y^i_{pred}-y^i_{true}| L(ypred​,ytru…...

编程日记 2026/3/2 14:32:28

【设计模式有哪些】

一、创建型模式（Creation Patterns） 1. 单例模式（Singleton） 核心思想：保证一个类仅有一个实例，并提供全局访问点。实现方式：public class Singleton {// 1. 私有静态实例，volatil…...

编程日记 2026/2/21 14:05:38

基于SpringBoot+Vue的幼儿园管理系统+LW示例参考

1.项目介绍 系统角色：管理员、教师、普通用户功能模块：用户管理、教师管理、班级管理、幼儿信息管理、会议记录管理、待办事项、职工考核、请假信息、缴费信息、体检管理、资源管理、原料管理、菜品信息管理等技术选型：SpringBoot&#xff0…...

编程日记 2026/3/4 5:56:54

默认参数 d = {} 的陷阱

默认参数 d {} 的陷阱 问题需求思路代码实现默认参数d {}的陷阱解决办法1、在函数外为每个字符串创建空字典统计词频2、函数改为每次调用时创建新字典，避免数据污染 举一反三 问题需求 统计两个字符串的中文词语出现次数 思路 先使用jieba库分词功能处理字符串…...

编程日记 2026/2/14 2:14:33

Python 常用内建模块-argparse

目录 argparse 小结 argparse 在命令行程序中，经常需要获取命令行参数。Python内置的sys.argv保存了完整的参数列表，我们可以从中解析出需要的参数： # copy.py import sys print(sys.argv) source sys.argv[1] target sys.argv[2] # TOD…...

编程日记 2026/2/14 4:59:30

案例5_3: 6位数码管静态显示

文章目录 文章介绍效果图仿真图复习知识：代码思考 文章介绍 第5章 学习数码管，使用6位数码管进行静态显示 效果图 仿真图 新建一个干净的5_3文件夹，用于存放新画的仿真图 除单片机最小系统外，新增3个元器件，分别是&…...

编程日记 2026/2/18 18:07:24

Profinet转Modbus RTU/TCP以太网通讯处理器

Profinet转Modbus RTU/TCP以太网通讯处理器 在当今的工业自动化领域，各种通讯协议和标准层出不穷。 其中，Profinet和Modbus作为两种广泛应用的通讯协议，分别在不同的应用场景中发挥着重要作用。 然而，当需要将这两种协议进行转换…...

编程日记 2026/3/1 13:13:22

3倍训练速度+40%显存节省！Mamba+Transformer 仅用一半时间，性能提升80%！

在人工智能领域，Mamba与Transformer的结合正在成为研究热点，为自然语言处理和多模态任务带来新的突破。 最新研究表明，通过将Mamba架构与Transformer的强大编码能力相结合，模型在处理复杂的多模态数据时的效率提升了50%&#xff…...

编程日记 2026/3/4 20:38:00

春秋云境刷题1

CVE-2022-29464 靶标介绍： WSO2文件上传漏洞（CVE-2022-29464）是Orange Tsai发现的WSO2上的严重漏洞。该漏洞是一种未经身份验证的无限制任意文件上传，允许未经身份验证的攻击者通过上传恶意JSP文件在WSO2服务器上获得RCE。 Git…...

编程日记 2026/2/26 6:58:24

台式机电脑组装---电源

台式机电脑组装—电源 22 33 主板供电是聚集了12V，5V,3.3V的24pin CPU供电的话主要是12V的44pin供电 44pin合并之后，就是8pin 55 SATA硬盘会使用饼io口取电，从电源获取12v,5v,3.3v的电 33...

编程日记 2026/3/5 18:45:48

10-BST(二叉树)-建立二叉搜索树，并进行前中后遍历

题目 来源 3540. 二叉搜索树 - AcWing题库 思路 建立二叉搜索树（注意传参时用到了引用，可以直接对root进行修改），同时进行递归遍历；遍历可以分前中后三种写，也可以用标志来代替合在一起。其余详见代码。…...

编程日记 2026/2/22 19:46:12

蓝桥杯备考：贪心问题之淘淘摘苹果

这是淘淘摘苹果普通版&#xff0c;很可爱的一道题&#xff0c;我们不多陈述&#xff0c;直接上代码 #include <iostream> using namespace std; const int N 15; int a[N]; int main() {for(int i 1;i<10;i){cin >> a[i];}int x;cin >> x;x30;int cnt …...

编程日记 2026/2/26 2:23:43

VSTO（C#）Excel开发 系列目录 含源码发布

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github&#xff1a;codetoys&#xff0c;所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的&#xff0c;可以在任何平台上使用。 源码指引&#xff1a;github源…...

编程日记 2026/3/4 22:11:27

在 Ubuntu 下通过 Docker 部署 Nginx+PHP-FPM 服务器

引言 大家好&#xff0c;今天我们来聊聊如何在 Ubuntu 下通过 Docker 部署 Nginx 和 PHP-FPM 服务器。Docker 是一个开源的容器化平台&#xff0c;可以轻松地打包、分发和管理应用程序。而 Nginx 是一个高性能的 HTTP 服务器和反向代理服务器&#xff0c;PHP-FPM 则是 PHP 的一…...

编程日记 2026/2/25 0:20:34

Git使用和原理（3）

1.远程操作 1.1分布式版本控制系统 我们⽬前所说的所有内容&#xff08;⼯作区&#xff0c;暂存区&#xff0c;版本库等等&#xff09;&#xff0c;都是在本地&#xff01;也就是在你的笔记本或者 计算机上。⽽我们的 Git 其实是分布式版本控制系统&#xff01;什么意思呢&a…...

编程日记 2026/2/19 0:47:20

【ELK】节省存储 之 压缩存储方式调整

目录 集群版本&#xff1a; 7.17.6 解释几个概念&#xff1a; 段&#xff08;Segment&#xff09; 合并(Merge) 索引设置&#xff1a; 压缩方式(index.codec)&#xff1a; 测试设置前提条件 对比 在创建的时候指定压缩类型&#xff08;index.codec&#xff09; 对比 在…...

编程日记 2026/3/6 0:42:31

导出的使用

在web开发中&#xff0c;导出是很常见的一个功能&#xff0c;当我进行个人项目练习的时候&#xff0c;导出的时候无法控制列宽以及居中样式&#xff0c;后续发现导出插件无法进行修改&#xff0c;整个插件较为简便易懂的同时&#xff0c;对于EX的控制较为简陋&#xff0c;很多东…...

编程日记 2026/2/15 14:00:32

博客图床 VsCode + PigGo + 阿里云OSS

关键字 写博客&#xff0c;图床&#xff0c;VsCode&#xff0c;PigGo&#xff0c;阿里云OSS 背景环境 我想把我在本地写的markdown文档直接搬到CSDN上和博客园上&#xff0c;但是图片上传遇到了问题。我需要手动到不同平台上传文件&#xff0c;非常耗费时间和经历。 为了解决…...

编程日记 2026/2/28 15:44:00

鸿蒙开源硬件：重构万物智联生态的底层基座与未来机遇

一、从生态裂变到产业重构&#xff1a;开源鸿蒙的崛起之路 自 2020 年开源至今&#xff0c;OpenHarmony 社区以惊人的发展速度重塑智能终端操作系统格局。数据显示&#xff0c;其代码量已从初始的 700 万行激增至 1.2 亿行&#xff0c;汇聚超 8200 名开发者及 70 余家核心共建…...

编程日记 2026/3/2 7:05:50