当前位置： 首页 > news >正文

Ollama系列---【ollama使用gpu运行大模型】

news 2026/2/9 12:12:58

一、安装CudaToolkit

使用控制台命令查看当前显卡驱动中的cuda版本

nvidia-smi

二、下载CudaToolkit

注意：CudaToolkit版本要低于上面的显卡Cuda版本。
Cuda各版本下载地址：CUDA Toolkit Archive | NVIDIA Developer
下载好之后，一路下一步，一直默认即可。
如果安装到了自定义的位置，记得加环境变量。这里我安装到了D盘，下面是我添加的环境变量。

三、验证是否安装成功

nvcc --version

安装成功，如下图：

四、设置Ollama环境变量

Ollama安装好后，为了让推理跑在GPU上，可以按照如下步骤 设置环境变量：
在“系统变量”中，点击“新建”按钮。
添加以下环境变量：
变量名：OLLAMA_GPU_LAYER
变量值：cuda
如果需要指定特定的 GPU，可以添加以下环境变量：
变量名：CUDA_VISIBLE_DEVICES
变量值：GPU的UUID(按编号有时找不到，所以使用UUID)
在控制台输入nvidia-smi -L，即可查看GPU的UUID

五、查看ollama是否使用了gpu

通过观察PROCESSOR就能看到，大模型是用的cpu还是gpu，还是混合的。

ollama ps

经验证：8G的显卡，跑8b的模型可以100%用GPU,非常流畅。跑14b的cpu和gpu基本4/6开，可以观察SIZE模型运行需要的大小。

相关文章：

Ollama系列---【ollama使用gpu运行大模型】

一、安装CudaToolkit 使用控制台命令查看当前显卡驱动中的cuda版本 nvidia-smi 二、下载CudaToolkit 注意：CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址：CUDA Toolkit Archive | NVIDIA Developer 下载好之后，一路下一步&a…...

编程日记 2025/2/11 6:00:27

使用C语言实现MySQL数据库的增删改查操作指南

使用C语言与MySQL数据库进行交互，通常涉及使用MySQL提供的C API库。这套API允许开发者在C/C++程序中执行SQL查询，从而实现数据库的增删改查操作。下面，我将详细介绍如何在C语言中实现这些基本操作。 准备工作 安装MySQL开发库：确保你的系统上安装了MySQL服务器以及MySQL开发…...

编程日记 2025/2/11 5:59:25

【Golang学习之旅】Go + Redis 缓存设计与优化（项目实战）

文章目录 业务需求1. 缓存设计2. GoRedis代码实现3. 代码解析4. 性能优化 在本节中，我们将通过一个实际的项目案例，演示如何在 Go 中使用 Redis 实现高效的缓存设计与优化。 业务需求 假设我们正在开发一个电商平台，需要缓存商品信息以提高页…...

编程日记 2025/2/11 5:58:21

2、k8s 二进制安装（详细）

k8s 二进制安装 IP规划初始化部署 etcd 集群在 etcd01 节点上操作准备cfssl证书生成工具，加权生成etcd证书上传etcd软件包启动 etcd 服务 部署 Master 组件部署 Worker Node 组件node 节点安装 docker部署组件 部署 CNI 网络组件部署 flannel简介部署 部署 Calico简…...

编程日记 2025/2/11 5:57:19

安卓开发，底部导航栏

1、创建导航栏图标 使用系统自带的矢量图库文件，鼠标右键点击res->New->Vector Asset 修改 Name , Clip art 和 Color 再创建一个 同样的方法再创建四个按钮 2、添加百分比布局依赖 app\build.gradle.kts 中添加百分比布局依赖，并点击Sync Now …...

编程日记 2025/2/11 5:56:16

CWOI-N RER 1 ＞ 2 Solution

CWOI-N RER 1 > 2 Solution 声明：头图为断章取义。 这场比赛得 200 200 200 分是保底，得 300 300 300 分是基操，得 350 350 350 分以上才是实力（但不多）。 A - 机读卡 No solutions yet. 这题数据倒还不能无…...

编程日记 2025/2/11 5:55:07

字节跳动后端一面

📍1. Gzip压缩技术详解 Gzip是一种流行的无损数据压缩格式，它使用DEFLATE算法来减少文件大小，广泛应用于网络传输和文件存储中以提高效率。 🚀 使用场景： • 网站优化：通过压缩HTML、CSS、JavaScript文件来…...

编程日记 2025/2/11 5:54:02

Dify 框架连接 PGSQL 数据库与 Sandbox 环境下的 Linux 系统调用权限问题

Dify 框架连接 PGSQL 数据库与 Sandbox 环境下的 Linux 系统调用权限问题 背景 在使用 Dify 框架进行开发时，遇到了两个主要的技术挑战： 代码节点连接到 PGSQL（PostgreSQL）数据库。解决沙盒环境中由于系统调用限制导致的“oper…...

编程日记 2025/2/11 5:52:59

ModuleJS 与 CommonJS 混用的两种解决方案

目录 方案一 方案二 统一使用 ModuleJS 统一使用CommonJS 方案一 使用构建工具，webpack、vite等系列构建工具。这些构建工具底层则会将两种不同的系统模块语言转为同一种语言，然后代码也能正常执行。 方案二 如果你可以修改文件的文件后缀&#xf…...

编程日记 2025/2/11 5:51:58

代码随想录--977有序数组的平方

977 有序数组的平方 题目： 给你一个按 非递减顺序 排序的整数数组 nums，返回 每个数字的平方 组成的新数组，要求也按 非递减顺序 排序。 示例 1： 输入：nums [-4,-1,0,3,10] 输出：[0,1,9,16,100] 解释&…...

编程日记 2025/2/11 5:49:56

Win11下搭建Kafka环境

目录 一、环境准备 二、安装JDK 1、下载JDK 2、配置环境变量 3、验证 三、安装zookeeper 1、下载Zookeeper安装包 2、配置环境变量 3、修改配置文件zoo.cfg 4、启动Zookeeper服务 4.1 启动Zookeeper客户端验证 4.2 启动客户端 四、安装Kafka 1、下载Kafka安装包…...

编程日记 2025/2/11 5:48:54

MacBook Pro M2安装deepseek

序 本文主要展示一下如何在MacBook Pro M2安装deepseek mac配置 芯片Apple M2，8核(物理)，内存16G，os版本Ventura，磁盘500G 步骤 下载ollama 去https://ollama.com/下载mac版本 或者使用go来编译 git clone --depth 1 http…...

编程日记 2025/2/11 5:47:53

springboot的http请求不通原因

Spring Boot 应用中 HTTP 请求不通可能由多种原因引起，以下是一些常见问题及解决方法： 1. 端口冲突 问题：应用端口被占用。 解决：检查端口占用情况，修改 application.properties 或 application.yml 中的端口配置。 …...

编程日记 2025/2/11 5:41:45

【Windows】PowerShell 缓存区大小调节

PowerShell 缓存区大小调节 方式1 打开powershell 窗口属性调节方式2，修改 PowerShell 配置文件 方式1 打开powershell 窗口属性调节 打开 CMD（按 Win R，输入 cmd）。右键标题栏 → 选择 属性（Properties）…...

编程日记 2025/2/11 5:36:34

使用python脚本批量删除redis缓存

首先，安装 redis-py 库： pip install redis 其次，创建一个 Python 脚本来连接到 Redis 并删除匹配的键。假设 Redis 端口是 6379，密码是 mypassword（如果有密码的话）。 import redis# 连接到 Redis r r…...

编程日记 2025/2/11 5:35:28

Python截图轻量化工具

一、兼容局限性 这是用Python做的截图工具，不过由于使用了ctypes调用了Windows的API, 同时访问了Windows中"C:/Windows/Cursors/"中的.cur光标样式文件, 这个工具只适用于Windows环境； 如果要提升其跨平台性的话，需要考虑替换cty…...

编程日记 2025/2/11 5:32:23

Android图片加载框架Coil，Kotlin

Android图片加载框架Coil，Kotlin implementation("io.coil-kt:coil:1.4.0") import android.os.Bundle import android.widget.ImageView import androidx.appcompat.app.AppCompatActivity import androidx.lifecycle.lifecycleScope import coil.Coil i…...

编程日记 2025/2/11 5:30:18

重生之我要当云原生大师（十四）分析和存储日志

目录 一、简述常用的日志文件所存储的消息类型。 二、syslog的优先级？ 三、维护准确时间的意义？ 一、简述常用的日志文件所存储的消息类型。 1. 系统日志文件 /var/log/messages 消息类型：通用的系统日志文件，记录系统启动、…...

编程日记 2025/2/11 5:27:13

C++基础知识学习记录—补充

1、C新增的赋值语法 #include <iostream>using namespace std;int main() {//C新的赋值语法//1、传统的赋值语法int a,b;a100;b99;//C新的赋值语法int c(2);//相当于给c赋值2int d(c);//相当于把c的值赋值给dcout << "c" << c << endl;co…...

编程日记 2025/2/11 5:26:12

Linux常用命令——磁盘管理类

文章目录 du 查看文件和目录占用的磁盘空间df 查看磁盘空间使用情况free 显示内存占用情况lsblk 查看设备挂载情况mount/umount 挂载/卸载fdisk 分区Linux分区分区操作按键说明挂载硬盘操作 du 查看文件和目录占用的磁盘空间 ls-lh是查看文件大小du: disk usage 磁盘占用情况d…...

编程日记 2025/2/11 5:25:11

谷歌浏览器插件

项目中有时候会用到插件 sync-cookie-extension1.0.0&#xff1a;开发环境同步测试 cookie 至 localhost&#xff0c;便于本地请求服务携带 cookie 参考地址&#xff1a;https://juejin.cn/post/7139354571712757767 里面有源码下载下来&#xff0c;加在到扩展即可使用FeHelp…...

编程新知 2025/8/16 3:55:30

【Linux】C语言执行shell指令

在C语言中执行Shell指令 在C语言中&#xff0c;有几种方法可以执行Shell指令&#xff1a; 1. 使用system()函数 这是最简单的方法&#xff0c;包含在stdlib.h头文件中&#xff1a; #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...

编程新知 2025/11/20 18:42:48

聊聊 Pulsar：Producer 源码解析

一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台&#xff0c;以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中&#xff0c;Producer&#xff08;生产者&#xff09; 是连接客户端应用与消息队列的第一步。生产者…...

编程新知 2026/2/5 21:34:41

Java 加密常用的各种算法及其选择

在数字化时代&#xff0c;数据安全至关重要&#xff0c;Java 作为广泛应用的编程语言&#xff0c;提供了丰富的加密算法来保障数据的保密性、完整性和真实性。了解这些常用加密算法及其适用场景&#xff0c;有助于开发者在不同的业务需求中做出正确的选择。​ 一、对称加密算法…...

编程新知 2025/11/22 20:41:02

【HTML-16】深入理解HTML中的块元素与行内元素

HTML元素根据其显示特性可以分为两大类&#xff1a;块元素(Block-level Elements)和行内元素(Inline Elements)。理解这两者的区别对于构建良好的网页布局至关重要。本文将全面解析这两种元素的特性、区别以及实际应用场景。 1. 块元素(Block-level Elements) 1.1 基本特性 …...

编程新知 2025/11/11 6:28:42

NFT模式：数字资产确权与链游经济系统构建

NFT模式&#xff1a;数字资产确权与链游经济系统构建 ——从技术架构到可持续生态的范式革命 一、确权技术革新&#xff1a;构建可信数字资产基石 1. 区块链底层架构的进化 跨链互操作协议&#xff1a;基于LayerZero协议实现以太坊、Solana等公链资产互通&#xff0c;通过零知…...

编程新知 2026/1/31 23:23:23

大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计

随着大语言模型&#xff08;LLM&#xff09;参数规模的增长&#xff0c;推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长&#xff0c;而KV缓存的内存消耗可能高达数十GB&#xff08;例如Llama2-7B处理100K token时需50GB内存&a…...

编程新知 2026/1/28 1:40:03

Git 3天2K星标：Datawhale 的 Happy-LLM 项目介绍（附教程）

引言 在人工智能飞速发展的今天&#xff0c;大语言模型&#xff08;Large Language Models, LLMs&#xff09;已成为技术领域的焦点。从智能写作到代码生成&#xff0c;LLM 的应用场景不断扩展&#xff0c;深刻改变了我们的工作和生活方式。然而&#xff0c;理解这些模型的内部…...

编程新知 2026/1/29 11:06:33

计算机基础知识解析：从应用到架构的全面拆解

目录 前言 1、 计算机的应用领域&#xff1a;无处不在的数字助手 2、 计算机的进化史&#xff1a;从算盘到量子计算 3、计算机的分类&#xff1a;不止 “台式机和笔记本” 4、计算机的组件&#xff1a;硬件与软件的协同 4.1 硬件&#xff1a;五大核心部件 4.2 软件&#…...

编程新知 2026/1/31 9:44:27

tomcat入门

1 tomcat 是什么 apache开发的web服务器可以为java web程序提供运行环境tomcat是一款高效&#xff0c;稳定&#xff0c;易于使用的web服务器tomcathttp服务器Servlet服务器 2 tomcat 目录介绍 -bin #存放tomcat的脚本 -conf #存放tomcat的配置文件 ---catalina.policy #to…...

编程新知 2025/7/7 19:44:31