当前位置： 首页 > news >正文

深度学习-74-大语言模型LLM之基于API与llama.cpp启动的模型进行交互

news 2026/5/16 20:40:13

文章目录

  • 1 大模型量化方法
    • 1.1 GPTQ(后训练量化)
    • 1.2 GGUF(支持CPU)
    • 1.3 AWQ(后训练量化)
  • 2 llama.cpp
    • 2.1 功能
      • 2.1.1 Chat(聊天)
      • 2.1.2 Completion(补全)
    • 2.2 运行开源LLM
      • 2.2.1 下载安装llama.cpp
      • 2.2.2 下载gguf格式的模型
      • 2.2.3 运行大模型
  • 3 API访问
    • 3.1 调用补全
    • 3.2 调用聊天
    • 3.3 提取结果信息
    • 3.4 模拟聊天
  • 4 参考附录

1 大模型量化方法

大语言模型的参数通常以高精度浮点数存储，这导致模型推理需要大量计算资源。

量化技术通过将高精度数据类型存储的参数转换为低精度数据类型存储， 可以在不改变模型参数量和架构的前提下加速推理过程。这种方法使得模型的部署更加经济高效，也更具可行性。

1.1 GPTQ(后训练量化)

GPTQ: Post-Training Quantization for GPT Models

GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。

该方法背后的思想是，尝试通过最小化该权重的均方误差将所有权重压缩到4位。在推理过程中，它将动态地将其权重去量化为float16，以提高性能。

GPTQ常用4bit，8bit量化。

1.2 GGUF(支持CPU)

GGUF：GPT-Generated Unified Format

GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。

虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。

1.3 A

相关文章：

深度学习-74-大语言模型LLM之基于API与llama.cpp启动的模型进行交互

文章目录 1 大模型量化方法1.1 GPTQ(后训练量化)1.2 GGUF(支持CPU)1.3 AWQ(后训练量化)2 llama.cpp2.1 功能2.1.1 Chat(聊天)2.1.2 Completion(补全)2.2 运行开源LLM2.2.1 下载安装llama.cpp2.2.2 下载gguf格式的模型2.2.3 运行大模型3 API访问3.1 调用补全3.2 调用聊天3.3 提取…...

编程日记 2024/12/20 18:28:28

PyTorch 2.0 中设置默认使用 GPU 的方法

PyTorch 2.0 中设置默认使用 GPU 的方法 在 PyTorch 2.0 中，默认情况下仍然是使用 CPU 进行计算，除非明确指定使用 GPU。torch.set_default_device 是 PyTorch 2.0 引入的新功能，用于设置默认设备，使得所有后续张量和模块在没有明…...

编程日记 2024/12/20 18:24:24

如何在 Ubuntu 22.04 服务器上安装 Jenkins

简介 Jenkins 是一个非常流行的免费自动化工具，每个人都应该了解它。DevOps 工程师使用它来自动化代码构建、测试和部署。本文将重点介绍如何在新的 Ubuntu LTS 版本，即 Ubuntu 22.04 中安装 Jenkins。 但在此之前，让我们快速讨论一下 Jenk…...

编程日记 2024/12/20 18:23:23

【一篇搞定配置】如何在Ubuntu上配置单机/伪分布式Hadoop

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀各种软件安装与配置_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光 目录 1.…...

编程日记 2024/12/20 18:19:20

利用Map集合设计程序，存储城市和对应等级相关信息

package testmap;import java.util.HashMap; import java.util.Scanner; import java.util.Set;public class TestHashMap6 {public static void main(String[] args) {//1.创建一个Map集合&#xff1a;存储键值对HashMap<String, String> map new HashMap<>();/…...

编程日记 2024/12/20 18:18:18

【自动驾驶】单目摄像头实现自动驾驶3D目标检测

&#x1f351;个人主页&#xff1a;Jupiter. &#x1f680; 所属专栏&#xff1a;传知代码 欢迎大家点赞收藏评论&#x1f60a; 目录 概述算法介绍演示效果图像推理视频推理 核心代码算法处理过程使用方式环境搭建下载权重文件pytorch 推理&#xff08;自动选择CPU或GPU&#x…...

编程日记 2024/12/20 18:12:13

21 go语言（golang） - gin框架安装及使用（二）

四、组成 前面的文章中&#xff0c;我们介绍了其中一部分组成&#xff0c;接下来继续学习&#xff1a; Router&#xff08;路由器&#xff09; Gin 使用基于树结构的路由机制来处理 HTTP 请求。它支持动态路由参数、分组路由以及中间件。路由器负责将请求路径映射到相应的处理…...

编程日记 2024/12/20 18:10:11

Intel(R) Iris(R) Xe Graphics安装Anaconda、Pytorch（CPU版本）

一、Intel(R) Iris(R) Xe Graphics安装Anaconda 下载网址&#xff1a;https://repo.anaconda.com/archive/ 双击Anaconda3-2024.10-1-Windows-x86_64&#xff0c;一直下一步&#xff0c;选择安装的路径位置&#xff0c;一直下一步就安装完成了。打开Anaconda PowerShell Promp…...

编程日记 2024/12/20 18:09:10

【Unity3D】实现可视化链式结构数据（节点数据）

关键词&#xff1a;UnityEditor、可视化节点编辑、Unity编辑器自定义窗口工具 使用Newtonsoft.Json、UnityEditor相关接口实现 主要代码&#xff1a; Handles.DrawBezier(起点&#xff0c;终点&#xff0c;起点切线向量&#xff0c;终点切线向量&#xff0c;颜色&#xff0c;n…...

编程日记 2024/12/20 18:08:09

Three.js推荐-可以和Three.js结合的动画库

在 Three.js 中&#xff0c;3D 模型、相机、光照等对象的变换&#xff08;如位置、旋转、缩放&#xff09;通常需要通过动画进行控制&#xff0c;以实现更加生动和富有表现力的效果。然而&#xff0c;Three.js 本身并没有内置的强大动画管理系统&#xff0c;尽管可以通过关键帧…...

编程日记 2024/12/20 18:06:07

增强现实（AR）和虚拟现实（VR）的应用

增强现实&#xff08;AR&#xff09;和虚拟现实&#xff08;VR&#xff09;是近年来迅速发展的技术&#xff0c;广泛应用于多个行业&#xff0c;提供沉浸式的体验和增强的信息交互。以下是AR和VR的定义及其在不同领域的具体应用。 相关学点&#xff1a; 2025年大数据、通信技术…...

编程日记 2024/12/20 18:02:04

告别机器人味：如何让ChatGPT写出有灵魂的内容

目录 ChatGPT的一些AI味道小问题 1.提供编辑指南 2.提供样本 3.思维链大纲 4.融入自己的想法 5.去除重复增加多样性 6.删除废话 ChatGPT的一些AI味道小问题 大多数宝子们再使用ChatGPT进行写作时&#xff0c;发现我们的老朋友ChatGPT在各类写作上还有点“机器人味”太重…...

编程日记 2024/12/20 17:59:00

【Threejs】从零开始（六）--GUI调试开发3D效果

请先完成前置步骤再进行下面操作&#xff1a;【Threejs】从零开始&#xff08;一&#xff09;--创建threejs应用-CSDN博客 一.GUI界面概述 GUI&#xff08;Graphical User Interface&#xff09;指的是图形化用户界面&#xff0c;广泛用在各种程序的上位机&#xff0c;能够通过…...

编程日记 2024/12/20 17:54:54

Cocos Creator 试玩广告开发

之前主要是使用Unity,这次刚好项目是试玩游戏的开发&#xff0c;所以临时学了Cocos来开发。所以这篇文章&#xff0c;更加关注从Unity转到Cocos开发的经历以及试玩的基本开发。 首先&#xff0c;我是没有使用过Cocos的&#xff0c;也没有接触过Ts语言&#xff0c;对于Ts的开发开…...

编程日记 2024/12/20 17:50:46

快速解决oracle 11g中exp无法导出空表的问题

在一些生产系统中&#xff0c;有些时候我们为了进行oracle数据库部分数据的备份和迁移&#xff0c;会使用exp进行数据的导出。但在实际导出的时候&#xff0c;我们发现导出的时候&#xff0c;发现很多空表未进行导出。今天我们给出一个快速解决该问题的办法。 一、问题复现 我…...

编程日记 2024/12/20 17:49:43

selenium 报错 invalid argument: invalid locator

环境&#xff1a; Python3.12.2 selenium4.0 报错信息&#xff1a; invalid argument: invalid locator 错误分析&#xff1a; selenium语法错误,find_element方法少写By.XPATH参数 错误语法如下&#xff1a; driver.find_element(//div[id"myid"]) 解决办…...

编程日记 2024/12/20 17:46:40

Flink2.0未来趋势中需要注意的一些问题

手机打字&#xff0c;篇幅不长&#xff0c;主要讲一下FFA中关于Flink2.0的未来趋势&#xff0c;直接看重点。 Flink Forward Asia 2024主会场有一场关于Flink2.0的演讲&#xff0c;很精彩&#xff0c;官方也发布了一些关于Flink2.0的展望和要解决的问题。 1.0时代和2.0时代避免…...

编程日记 2024/12/20 17:45:39

机械鹦鹉与真正的智能：大语言模型推理能力的迷思

编者按&#xff1a; 大语言模型真的具备推理能力吗&#xff1f;我们是否误解了"智能"的本质&#xff0c;将模式匹配误认为是真正的推理&#xff1f; 本文深入探讨了大语言模型&#xff08;LLMs&#xff09;是否真正具备推理能力这一前沿科学问题&#xff0c;作者的核…...

编程日记 2024/12/20 17:42:35

本地电脑使用命令行上传文件至远程服务器

将本地文件上传到远程服务器&#xff0c;在本地电脑中cmd使用该命令&#xff1a; scp C:/Users/"你的用户名"/Desktop/environment.yml ws:~/environment.yml 其中&#xff0c;C:/Users/“你的用户名”/Desktop/environment.yml是本地文件的路径&#xff0c; ~/en…...

编程日记 2024/12/20 17:39:31

【系统】Windows11更新解决办法，一键暂停

最近的windows更新整的我是措不及防&#xff0c;干啥都要关注一下更新的问题&#xff0c;有的时候还关不掉&#xff0c;我的强迫症就来了&#xff0c;非得关了你不可&#xff01; 经过了九九八十一难的研究之后&#xff0c;终于找到了一个算是比较靠谱的暂停更新的方法&#x…...

编程日记 2024/12/20 17:34:27

手把手教你用STC89C52单片机驱动DS1302时钟模块（附完整代码）

STC89C52与DS1302时钟模块实战指南&#xff1a;从硬件搭建到代码实现 1. 项目概述与硬件准备 在嵌入式系统开发中&#xff0c;实时时钟(RTC)功能是许多项目的核心需求。STC89C52作为经典的51系列单片机&#xff0c;与DS1302时钟模块的组合&#xff0c;为开发者提供了经济实惠且…...

编程新知 2026/5/16 19:23:26

为什么92%的斯里兰卡项目在ElevenLabs僧伽罗文语音上失败？——2024最新L10n兼容性白皮书首发（附实测RTT延迟对比数据）

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;为什么92%的斯里兰卡项目在ElevenLabs僧伽罗文语音上失败&#xff1f; ElevenLabs 官方文档明确声明支持僧伽罗文&#xff08;Sinhala&#xff09;&#xff0c;但实际部署中&#xff0c;斯里兰卡本地政…...

编程新知 2026/5/16 19:14:52

SOCD Cleaner终极指南：如何用开源工具解决游戏输入冲突问题

SOCD Cleaner终极指南&#xff1a;如何用开源工具解决游戏输入冲突问题 【免费下载链接】socd Key remapper for epic gamers 项目地址: https://gitcode.com/gh_mirrors/so/socd 你是否曾在激烈的游戏对战中&#xff0c;因为同时按下相反方向键而输掉关键对决&#xff…...

编程新知 2026/5/16 19:02:06

告别混乱的微生物组数据：手把手教你用R包MaAsLin2找出关键关联（附IBD研究实战代码）

微生物组数据关联分析实战&#xff1a;用MaAsLin2解锁IBD研究的关键发现 当面对成百上千个微生物物种丰度与数十项临床指标的复杂关系网时&#xff0c;许多研究者常陷入"数据沼泽"——明明手握高通量测序结果&#xff0c;却难以提炼出具有生物学意义的关联模式。这正…...

编程新知 2026/5/16 17:05:01

ROFL-Player：英雄联盟回放文件解析与管理的技术实践

ROFL-Player&#xff1a;英雄联盟回放文件解析与管理的技术实践 【免费下载链接】ROFL-Player (No longer supported) One stop shop utility for viewing League of Legends replays! 项目地址: https://gitcode.com/gh_mirrors/ro/ROFL-Player 在电子竞技数据分析领域…...

编程新知 2026/5/16 15:49:10

5个技巧打造个性化Obsidian笔记界面：AnuPpuccin主题美化指南

5个技巧打造个性化Obsidian笔记界面&#xff1a;AnuPpuccin主题美化指南 【免费下载链接】AnuPpuccin Personal theme for Obsidian 项目地址: https://gitcode.com/gh_mirrors/an/AnuPpuccin 还在为单调的笔记界面而烦恼吗&#xff1f;想要让你的Obsidian笔记软件焕然一…...

编程新知 2026/5/16 15:42:33

3个关键步骤：如何为视频下载工具扩展新平台支持

3个关键步骤&#xff1a;如何为视频下载工具扩展新平台支持 【免费下载链接】yt-dlp-gui Windows GUI for yt-dlp 项目地址: https://gitcode.com/gh_mirrors/yt/yt-dlp-gui 为开源视频下载工具添加第三方平台支持是开发者面临的常见挑战。yt-dlp-gui作为Windows平台上广…...

编程新知 2026/5/16 14:22:35

Linux服务器安全加固第一步：用好chattr隐藏权限和umask默认值

Linux服务器安全加固实战&#xff1a;chattr与umask的防御艺术 当一台裸机Linux服务器首次上线时&#xff0c;大多数管理员会立即部署防火墙、更新补丁和配置SSH密钥登录——这些确实是安全基础。但真正经历过服务器入侵事件的老手都知道&#xff0c;攻击者往往从最不起眼的文件…...

编程新知 2026/5/16 13:49:49

Twitter数据抓取实战：x-twitter-scraper混合架构与生产环境部署指南

1. 项目概述&#xff1a;一个高效、稳定的Twitter数据抓取利器如果你正在寻找一个能绕过官方API限制&#xff0c;稳定、高效地抓取Twitter&#xff08;现X平台&#xff09;数据的工具&#xff0c;那么x-twitter-scraper这个开源项目绝对值得你花时间深入研究。它不是一个简单的…...

编程新知 2026/5/16 12:37:22

DSP开发环境搭建实战：从CCSv3.3安装到XDS510仿真器配置全解析

1. CCSv3.3安装全流程详解 第一次接触DSP开发的朋友&#xff0c;安装CCSv3.3这个"老前辈"可能会遇到各种意想不到的问题。我当年在实验室安装时&#xff0c;光是补丁问题就折腾了一整天。下面就把这些年积累的实战经验分享给大家。 首先需要准备的是安装文件。虽然现…...

编程新知 2026/5/16 11:59:23