Ollama环境中应用Qwen模型

如果在你的本地 Ollama 环境中没有名为qwen2.5或Qwen的模型请按如下方法解决Ollama 不会自动下载所有模型你需要先手动拉取下载你打算使用的模型然后才能运行代码。解决方法请按照以下步骤操作1. 在命令行中拉取模型打开你的命令提示符CMD或 PowerShell运行以下命令来下载qwen2.5模型ollama pull qwen2.5注意如果你想要特定参数版本例如 7B, 14B, 72B 等通常可以直接指定例如ollama pull qwen2.5:7b。如果只写qwen2.5Ollama 通常会下载默认版本通常是 7b 或根据标签定义的最新版本。等待下载完成后你会看到类似pulling manifest,pulling xxx,success的提示。2. 确认模型已存在可选你可以运行以下命令查看本地已安装的模型列表确认qwen2.5是否在其中ollama list3. 重新运行 Python 代码模型下载完成后再次运行你的 Python 脚本E:/Project_Soft/Python/Ollama_Test.py错误应该就会消失。补充说明关于模型名称有时候模型的具体标签名称可能略有不同。如果在ollama pull qwen2.5时报错你可以去 Ollama Library 查看准确的标签。目前 Qwen2.5 系列常见的完整标签包括qwen2.5:0.5bqwen2.5:1.5bqwen2.5:3bqwen2.5:7b(最常用)qwen2.5:14bqwen2.5:32bqwen2.5:72b如果你的代码中写的是modelqwen2.5它通常指向默认标签。如果下载后仍然报错建议将代码中的模型名称改为具体的版本例如# 修改前responseollama.chat(modelqwen2.5,messages[...])# 修改后 (例如指定 7b 版本)responseollama.chat(modelqwen2.5:7b,messages[...])有哪些其他可用的Ollama模型Ollama 拥有非常丰富的模型库涵盖了从轻量级到高性能的各种需求。截至 2026 年以下是几类最热门且常用的模型你可以根据你的硬件配置主要是显存大小和任务需求进行选择1. 通用对话与推理 (最常用)这些模型适合日常聊天、写作、逻辑推理和一般性问答。Llama 3 / Llama 3.1 / Llama 3.2 (Meta)特点: 目前最流行的开源模型系列综合性能极强生态丰富。推荐版本:llama3.2:3b(超轻量适合低配电脑/手机)llama3.2:1b(极致轻量)llama3.1:8b(主流选择平衡性能与速度)llama3.1:70b(高性能需要大显存或多卡)拉取命令:ollama pull llama3.2或ollama pull llama3.1Qwen 2.5 (阿里巴巴)特点: 中文能力极强代码生成和数学推理表现优异是目前中文社区的首选之一。推荐版本:qwen2.5:0.5b/1.5b(极快适合简单任务)qwen2.5:7b(黄金尺寸大多数显卡可跑)qwen2.5:14b/32b(进阶选择效果更接近 GPT-4 级别)拉取命令:ollama pull qwen2.5DeepSeek-R1 / DeepSeek-V3 (深度求索)特点: 2025-2026 年的黑马尤其在复杂逻辑推理、数学和代码方面表现惊人甚至超越许多闭源模型。R1 系列具有独特的“思维链”能力。推荐版本:deepseek-r1:7b(推理能力强且相对轻量)deepseek-r1:14b/32b(强力推荐如果显存允许)deepseek-v3(通用对话极强)拉取命令:ollama pull deepseek-r1Gemma 2 / Gemma 3 (Google)特点: Google 出品的开源模型轻量且高效适合创意写作和快速响应。推荐版本:gemma2:2b,gemma2:9b拉取命令:ollama pull gemma2Mistral / Mixtral (Mistral AI)特点: 欧洲开源模型的代表以高效和优秀的指令遵循能力著称。Mixtral 是稀疏混合专家模型 (MoE)。推荐版本:mistral:7b,mixtral:8x7b拉取命令:ollama pull mistral2. 编程专用 (Code Models)如果你主要用 AI 写代码这些模型通常比通用模型更准确。DeepSeek-Coder-V2: 代码能力顶尖支持多种编程语言。命令:ollama pull deepseek-coder-v2CodeLlama: Meta 专为代码训练的 Llama 版本。命令:ollama pull codellamaQwen2.5-Coder: 阿里推出的代码专项模型。命令:ollama pull qwen2.5-coder3. 视觉多模态 (Vision Models)这些模型可以“看懂”图片你需要在代码中传递图片数据。LLaVA (Large Language-and-Vision Assistant): 最经典的多模态模型。命令:ollama pull llava或ollama pull llava:7bBakLLava: 基于 Mistral 的视觉模型。命令:ollama pull bakllavaMoondream: 超轻量的视觉模型可以在很低配置的设备上运行。命令:ollama pull moondream4. 特殊用途与轻量级Phi-3 / Phi-4 (Microsoft): 微软的小模型参数量小但逻辑能力出人意料地强非常适合笔记本运行。命令:ollama pull phi3或ollama pull phi4TinyLlama: 极小模型仅 1.1B 参数用于测试或极低资源环境。命令:ollama pull tinyllamaNemotron: NVIDIA 推出的模型擅长生成合成数据。如何查找和选择方法 A使用命令行搜索你可以在终端直接搜索 Ollama 库中的模型ollama search关键词# 例如ollama search code ollama search chinese ollama search llama方法 B访问官网库最直观的方法是访问Ollama Library网页版需联网https://ollama.com/library在那里你可以看到所有可用模型的列表。查看每个模型的大小 (Size)这决定了你需要多少显存/内存。点击模型名称查看具体的标签Tags例如:7b,:14b,:latest。直接复制ollama pull 模型名命令。 选型建议 (根据显存/内存) 8GB 显存/内存:推荐:qwen2.5:1.5b,llama3.2:1b/3b,phi3,gemma2:2b,moondream8GB - 16GB 显存/内存:推荐:qwen2.5:7b,llama3.1:8b,deepseek-r1:7b,mistral:7b,gemma2:9b注这是大多数消费级显卡 (如 RTX 3060/4060) 的甜蜜点。16GB - 24GB 显存/内存:推荐:qwen2.5:14b,deepseek-r1:14b,mixtral:8x7b(量化版),llama3.1:70b(高量化版如 q4_0) 24GB 显存 或 Mac M1/M2/M3 (大内存版):推荐:qwen2.5:32b/72b,deepseek-r1:32b,llama3.1:70b(原版或低量化)提示如果你不确定选哪个先试一下qwen2.5:7b(中文好) 或llama3.1:8b(英文/通用好)这两个是目前兼容性最好的“万金油”模型。如何启动ollama启动 Ollama 的方法取决于你的操作系统。通常情况下安装完成后 Ollama 会自动在后台运行。如果你发现运行ollama命令报错如连接拒绝或者你想手动启动它请参考以下步骤1. Windows 系统在 Windows 上Ollama 通常作为一个后台应用程序运行。方法 A检查是否已在运行推荐查看电脑右下角的系统托盘点击小箭头^。寻找一个黑色的羊驼图标 。如果图标存在说明 Ollama已经启动你不需要做任何操作直接在终端运行ollama run ...即可。如果图标不存在请继续方法 B。方法 B手动启动按下Win键输入Ollama。点击出现的Ollama应用程序图标。此时会弹出一个黑色的命令行窗口显示类似Ollama is running的字样。不要关闭这个窗口最小化它即可。现在你可以打开新的 CMD 或 PowerShell 窗口使用ollama命令了。方法 C作为服务启动如果上述无效如果应用无法启动可以尝试在管理员权限的 PowerShell 中运行ollama serve注意运行此命令时该窗口会被占用你需要新开一个窗口来运行ollama pull或你的 Python 代码。2. macOS 系统方法 A菜单栏检查查看屏幕右上角的菜单栏。寻找羊驼图标 。如果有图标说明已运行。点击图标可以选择 “Quit” 退出或查看状态。方法 B手动启动打开Finder(访达)。进入Applications(应用程序) 文件夹。双击Ollama图标。它会出现在菜单栏中表示启动成功。方法 C终端启动你也可以直接在终端Terminal中输入ollama serve同样这会占用当前终端窗口。3. Linux 系统在 Linux 上Ollama 通常安装为系统服务。检查状态systemctl status ollama如果显示active (running)则无需操作。启动服务如果未运行使用以下命令启动sudosystemctl start ollama开机自启如果需要开机自动启动sudosystemctlenableollama手动前台运行测试用如果不使用 systemd可以直接运行ollama serve4. 验证是否启动成功无论使用哪种系统启动后都可以通过以下方式验证命令行测试打开一个新的终端/命令提示符输入ollama list如果列出了模型列表或者提示没有模型说明服务正常。如果报错connection refused说明服务未启动。浏览器测试在浏览器地址栏输入http://localhost:11434如果页面显示“Ollama is running”则说明启动成功。常见问题排查端口冲突Ollama 默认使用11434端口。如果该端口被其他程序占用Ollama 可能无法启动。Python 代码报错如果你在运行 Python 代码时遇到ConnectionRefusedError通常是因为 Ollama 服务没开。请先按上述步骤启动 Ollama然后再运行 Python 脚本。Docker 用户如果你是用 Docker 运行的 Ollama需要确保容器正在运行dockerrun-d-vollama:/root/.ollama-p11434:11434--nameollama ollama/ollama既然你之前遇到了model not found的错误这说明你的 Ollama服务本身应该是启动的否则你会报连接错误而不是模型找不到错误。你可能只需要执行ollama pull qwen2.5即可无需重新启动服务。出现错误提示C:\Users\Administratorollama serve Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.这个错误信息非常明确Ollama 服务已经在运行了。错误Only one usage of each socket address... is normally permitted意味着端口11434已经被另一个程序也就是已经启动的 Ollama 进程占用了。你不需要再次运行ollama serve因为同一个端口不能同时被两个进程监听。✅ 解决方法你不需要做任何修复操作服务已经正常启动了。请直接执行你原本想做的命令1. 直接拉取模型既然服务已经在后台运行你可以直接在一个新的命令行窗口中运行拉取命令ollama pull qwen2.52. 或者直接运行 Python 代码你的 Python 脚本E:/Project_Soft/Python/Ollama_Test.py现在应该可以直接运行了前提是你已经拉取了模型如果还没拉取请先执行上面的第1步。ℹ️ 为什么会发生这种情况在 Windows 上当你安装 Ollama 或点击开始菜单的 Ollama 图标时它会自动在后台启动一个服务进程并监听 11434 端口。当你手动输入ollama serve时它试图再次启动一个服务并占用同一个端口从而产生冲突报错。这是正常现象说明你的环境配置是正确的。 如何确认它正在运行如果你想确认后台确实有一个 Ollama 在跑可以尝试以下方法方法 A查看系统托盘看电脑右下角任务栏右侧小箭头里应该有一个黑色的羊驼 图标。如果有说明它正在运行。方法 B测试连接在命令行输入ollama list如果能列出模型列表即使为空说明服务连接正常。方法 C浏览器访问在浏览器打开http://localhost:11434如果显示Ollama is running说明服务正常。 如果你真的需要重启服务可选如果你确实需要重启服务例如修改了环境变量或配置你需要先关闭正在运行的实例然后再运行ollama serve。关闭后台进程点击右下角托盘的羊驼图标 选择“Quit Ollama”。或者在任务管理器中找到ollama.exe并结束任务。验证端口释放再次运行ollama serve此时应该就不会报错了。总结忽略这个报错直接去运行ollama pull qwen2.5即可