Ollama系列---【ollama使用gpu运行大模型】
一、安装CudaToolkit
使用控制台命令查看当前显卡驱动中的cuda版本
nvidia-smi
二、下载CudaToolkit
注意：CudaToolkit版本要低于上面的显卡Cuda版本。
Cuda各版本下载地址：CUDA Toolkit Archive | NVIDIA Developer
下载好之后，一路下一步，一直默认即可。
如果安装到了自定义的位置，记得加环境变量。这里我安装到了D盘，下面是我添加的环境变量。
三、验证是否安装成功
nvcc --version安装成功，如下图：
四、设置Ollama环境变量
Ollama安装好后，为了让推理跑在GPU上，可以按照如下步骤 设置环境变量：
在“系统变量”中，点击“新建”按钮。
添加以下环境变量：
变量名：OLLAMA_GPU_LAYER
变量值：cuda
如果需要指定特定的 GPU，可以添加以下环境变量：
变量名：CUDA_VISIBLE_DEVICES
变量值：GPU的UUID(按编号有时找不到，所以使用UUID)
在控制台输入nvidia-smi -L，即可查看GPU的UUID
五、查看ollama是否使用了gpu
通过观察PROCESSOR就能看到，大模型是用的cpu还是gpu，还是混合的。
ollama ps经验证：8G的显卡，跑8b的模型可以100%用GPU,非常流畅。跑14b的cpu和gpu基本4/6开，可以观察SIZE模型运行需要的大小。
相关文章：
Ollama系列---【ollama使用gpu运行大模型】
一、安装CudaToolkit 使用控制台命令查看当前显卡驱动中的cuda版本 nvidia-smi 二、下载CudaToolkit 注意：CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址：CUDA Toolkit Archive | NVIDIA Developer 下载好之后，一路下一步&a…...
使用C语言实现MySQL数据库的增删改查操作指南
使用C语言与MySQL数据库进行交互，通常涉及使用MySQL提供的C API库。这套API允许开发者在C/C++程序中执行SQL查询，从而实现数据库的增删改查操作。下面，我将详细介绍如何在C语言中实现这些基本操作。 准备工作 安装MySQL开发库：确保你的系统上安装了MySQL服务器以及MySQL开发…...
【Golang学习之旅】Go + Redis 缓存设计与优化（项目实战）
文章目录 业务需求1. 缓存设计2. GoRedis代码实现3. 代码解析4. 性能优化 在本节中，我们将通过一个实际的项目案例，演示如何在 Go 中使用 Redis 实现高效的缓存设计与优化。 业务需求 假设我们正在开发一个电商平台，需要缓存商品信息以提高页…...
2、k8s 二进制安装（详细）
k8s 二进制安装 IP规划初始化部署 etcd 集群在 etcd01 节点上操作准备cfssl证书生成工具，加权生成etcd证书上传etcd软件包启动 etcd 服务 部署 Master 组件部署 Worker Node 组件node 节点安装 docker部署组件 部署 CNI 网络组件部署 flannel简介部署 部署 Calico简…...
安卓开发，底部导航栏
1、创建导航栏图标 使用系统自带的矢量图库文件，鼠标右键点击res->New->Vector Asset 修改 Name , Clip art 和 Color 再创建一个 同样的方法再创建四个按钮 2、添加百分比布局依赖 app\build.gradle.kts 中添加百分比布局依赖，并点击Sync Now …...
CWOI-N RER 1 ＞ 2 Solution
CWOI-N RER 1 > 2 Solution 声明：头图为断章取义。 这场比赛得 200 200 200 分是保底，得 300 300 300 分是基操，得 350 350 350 分以上才是实力（但不多）。 A - 机读卡 No solutions yet. 这题数据倒还不能无…...
字节跳动后端一面
📍1. Gzip压缩技术详解 Gzip是一种流行的无损数据压缩格式，它使用DEFLATE算法来减少文件大小，广泛应用于网络传输和文件存储中以提高效率。 🚀 使用场景： • 网站优化：通过压缩HTML、CSS、JavaScript文件来…...
Dify 框架连接 PGSQL 数据库与 Sandbox 环境下的 Linux 系统调用权限问题
Dify 框架连接 PGSQL 数据库与 Sandbox 环境下的 Linux 系统调用权限问题 背景 在使用 Dify 框架进行开发时，遇到了两个主要的技术挑战： 代码节点连接到 PGSQL（PostgreSQL）数据库。解决沙盒环境中由于系统调用限制导致的“oper…...
ModuleJS 与 CommonJS 混用的两种解决方案
目录 方案一 方案二 统一使用 ModuleJS 统一使用CommonJS 方案一 使用构建工具，webpack、vite等系列构建工具。这些构建工具底层则会将两种不同的系统模块语言转为同一种语言，然后代码也能正常执行。 方案二 如果你可以修改文件的文件后缀…...
代码随想录--977有序数组的平方
977 有序数组的平方 题目： 给你一个按 非递减顺序 排序的整数数组 nums，返回 每个数字的平方 组成的新数组，要求也按 非递减顺序 排序。 示例 1： 输入：nums [-4,-1,0,3,10] 输出：[0,1,9,16,100] 解释&…...
Win11下搭建Kafka环境
目录 一、环境准备 二、安装JDK 1、下载JDK 2、配置环境变量 3、验证 三、安装zookeeper 1、下载Zookeeper安装包 2、配置环境变量 3、修改配置文件zoo.cfg 4、启动Zookeeper服务 4.1 启动Zookeeper客户端验证 4.2 启动客户端 四、安装Kafka 1、下载Kafka安装包…...
MacBook Pro M2安装deepseek
序 本文主要展示一下如何在MacBook Pro M2安装deepseek mac配置 芯片Apple M2，8核(物理)，内存16G，os版本Ventura，磁盘500G 步骤 下载ollama 去https://ollama.com/下载mac版本 或者使用go来编译 git clone --depth 1 http…...
springboot的http请求不通原因
Spring Boot 应用中 HTTP 请求不通可能由多种原因引起，以下是一些常见问题及解决方法： 1. 端口冲突 问题：应用端口被占用。 解决：检查端口占用情况，修改 application.properties 或 application.yml 中的端口配置。 …...
【Windows】PowerShell 缓存区大小调节
PowerShell 缓存区大小调节 方式1 打开powershell 窗口属性调节方式2，修改 PowerShell 配置文件 方式1 打开powershell 窗口属性调节 打开 CMD（按 Win R，输入 cmd）。右键标题栏 → 选择 属性（Properties）…...
使用python脚本批量删除redis缓存
首先，安装 redis-py 库： pip install redis 其次，创建一个 Python 脚本来连接到 Redis 并删除匹配的键。假设 Redis 端口是 6379，密码是 mypassword（如果有密码的话）。 import redis# 连接到 Redis r r…...
Python截图轻量化工具
一、兼容局限性 这是用Python做的截图工具，不过由于使用了ctypes调用了Windows的API, 同时访问了Windows中"C:/Windows/Cursors/"中的.cur光标样式文件, 这个工具只适用于Windows环境； 如果要提升其跨平台性的话，需要考虑替换cty…...
Android图片加载框架Coil，Kotlin
Android图片加载框架Coil，Kotlin implementation("io.coil-kt:coil:1.4.0") import android.os.Bundle import android.widget.ImageView import androidx.appcompat.app.AppCompatActivity import androidx.lifecycle.lifecycleScope import coil.Coil i…...
重生之我要当云原生大师（十四）分析和存储日志
目录 一、简述常用的日志文件所存储的消息类型。 二、syslog的优先级？ 三、维护准确时间的意义？ 一、简述常用的日志文件所存储的消息类型。 1. 系统日志文件 /var/log/messages 消息类型：通用的系统日志文件，记录系统启动、…...
C++基础知识学习记录—补充
1、C新增的赋值语法 #include <iostream>using namespace std;int main() {//C新的赋值语法//1、传统的赋值语法int a,b;a100;b99;//C新的赋值语法int c(2);//相当于给c赋值2int d(c);//相当于把c的值赋值给dcout << "c" << c << endl;co…...
Linux常用命令——磁盘管理类
文章目录 du 查看文件和目录占用的磁盘空间df 查看磁盘空间使用情况free 显示内存占用情况lsblk 查看设备挂载情况mount/umount 挂载/卸载fdisk 分区Linux分区分区操作按键说明挂载硬盘操作 du 查看文件和目录占用的磁盘空间 ls-lh是查看文件大小du: disk usage 磁盘占用情况d…...
Vim 调用外部命令学习笔记
Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...
【Python】 -- 趣味代码 - 小恐龙游戏
文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现，玩家控制一个角色（龙）躲避障碍物（仙人掌和乌鸦）。以下是代码的详细介绍：…...
。】2022-5-15)
【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15
缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下： struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...
《基于Apache Flink的流处理》笔记
思维导图 1-3 章 4-7章 8-11 章 参考资料 源码： https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...
是否存在路径（FIFOBB算法）
题目描述 一个具有 n 个顶点e条边的无向图，该图顶点的编号依次为0到n-1且不存在顶点与自身相连的边。请使用FIFOBB算法编写程序，确定是否存在从顶点 source到顶点 destination的路径。 输入 第一行两个整数，分别表示n 和 e 的值（1…...
华硕a豆14 Air香氛版，美学与科技的馨香融合
在快节奏的现代生活中，我们渴望一个能激发创想、愉悦感官的工作与生活伙伴，它不仅是冰冷的科技工具，更能触动我们内心深处的细腻情感。正是在这样的期许下，华硕a豆14 Air香氛版翩然而至，它以一种前所未有的方式&#x…...
基于SpringBoot在线拍卖系统的设计和实现
摘 要 随着社会的发展，社会的各行各业都在利用信息化时代的优势。计算机的优势和普及使得各种信息系统的开发成为必需。 在线拍卖系统，主要的模块包括管理员；首页、个人中心、用户管理、商品类型管理、拍卖商品管理、历史竞拍管理、竞拍订单…...
Mysql8 忘记密码重置，以及问题解决
1.使用免密登录 找到配置MySQL文件，我的文件路径是/etc/mysql/my.cnf，有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...
pikachu靶场通关笔记19 SQL注入02-字符型注入(GET)
目录 一、SQL注入 二、字符型SQL注入 三、字符型注入与数字型注入 四、源码分析 五、渗透实战 1、渗透准备 2、SQL注入探测 （1）输入单引号 （2）万能注入语句 3、获取回显列orderby 4、获取数据库名database 5、获取表名…...
掌握 HTTP 请求：理解 cURL GET 语法
cURL 是一个强大的命令行工具，用于发送 HTTP 请求和与 Web 服务器交互。在 Web 开发和测试中，cURL 经常用于发送 GET 请求来获取服务器资源。本文将详细介绍 cURL GET 请求的语法和使用方法。 一、cURL 基本概念 cURL 是 "Client URL" 的缩写…...