Ollama快速入门

Ollama是一个开源、轻量级的工具专为在本地计算机上运行大型语言模型LLM而设计。你可以把它理解为一个本地AI模型的“应用商店”和“运行环境”让你能像使用普通软件一样轻松地在自己的电脑上体验和利用各种AI模型而无需依赖云端服务或具备深厚的技术背景。官方网址: https://ollama.comOllama核心特点本地运行保护隐私所有数据都在你自己的计算机上处理无需上传到云端有效保护了个人或企业的数据隐私和安全。操作简单开箱即用无论是通过简洁的命令行还是新推出的图形界面桌面应用你都可以轻松完成模型的下载、安装和运行大大降低了AI的使用门槛。硬件要求灵活它不仅支持GPU加速NVIDIA、AMD、Apple Metal也能在仅有CPU的环境下运行让更多用户能在现有设备上体验AI。模型生态丰富支持运行包括Llama 3、DeepSeek-R1、Phi 4、Gemma、Mistral等在内的众多主流开源大模型。提供API便于集成Ollama内置了RESTful API方便开发者将其集成到自己的应用、聊天机器人或工作流中。它能做什么无论是技术爱好者还是普通用户都能从Ollama中找到适合自己的用法对于普通用户你可以像使用其他聊天软件一样通过Ollama的桌面应用与AI模型对话。它还支持直接拖拽PDF、文本或图片文件让AI帮你分析内容。对于开发者和企业可以基于Ollama快速搭建本地知识库、智能客服助手或在没有网络的环境下进行AI应用开发。通过其API你能用Python等语言轻松调用模型能力。安装 Ollama安装 Ollama 工具主要通过官方的安装方式 https://ollama.com/download/mac官方提供两种安装方式通过命令行安装和通过下载安装。通过命令行安装通过命令行安装需要打开 Terminal 终端并输入以下命令curl-fsSLhttps://ollama.com/install.sh|sh命令执行成功后会提示安装成功。通过下载安装通过下载安装需要访问 Ollama 的下载页面 https://ollama.com/download/点击Download for macOS进行下载下载完成后和普通的软件一样双击安装即可测试安装是否成功测试安装是否成功以运行在Mac系统为例可以通过 Mac 的应用启动图标启动 Ollama。启动后会在右上角显示一个图标也可以通过命令行进行测试ollama模型仓库-镜像-服务关系如果使用过Docker会发现Ollama的相关概念以及命令基本类似。Ollama 整体的结构也是由模型仓库、模型镜像和模型服务组成他们的关系如下模型仓库模型仓库存储了所有可用的模型镜像。模型镜像模型镜像是由大模型文件按照指定的格式打包的制品。模型服务模型服务是由模型镜像启动的进程用于处理用户请求。查找模型Ollama 官方提供了支持的模型列表 https://ollama.com/search查询到合适的模型类型后还需要进入到模型详情中确认具体的模型名称、根据电脑的硬件配置选择合适的量化模型对于MacBook Pro M4 16G的配置推荐选择qwen3.5:9b模型模型镜像模型镜像是由大模型文件按照指定的格式打包的制品。下载模型下载查询到的指定模型在终端执行下载命令ollama pull qwen3.5:9b输出如下% ollama pull qwen3.5:9b pulling manifest pulling dec52a44569a: 100% ██████████████████████████████████▏ 6.6 GB pulling 7339fa418c9a: 100% ██████████████████████████████████▏ 11 KB pulling 9371364b27a5: 100% ██████████████████████████████████▏ 65 B pulling be595b49fe22: 100% ██████████████████████████████████▏ 475 B verifying sha256 digest writing manifest success直接执行ollama run qwen3.5:9b时如果模型不存在也会自动下载。查看本地已下载的模型通过ollama pull和ollama run运行的模型会下载到本地可以通过ollama list来查看本地已经下载的模型列表% ollama list NAME ID SIZE MODIFIED qwen3.5:9b 6488c96fa5fa6.6GB20minutes ago查看本地模型详情模型详情可以在 Ollama Web页面上查看如 https://ollama.com/library/qwen3.5对于下载到本地的模型也可以查看模型详情ollama show qwen3.5:9b输出样例% ollama show qwen3.5:9b Model architecture qwen35 parameters9.7B context length262144embedding length4096quantization Q4_K_M requires0.17.1 Capabilities completion vision tools thinking Parameters presence_penalty1.5temperature1top_k20top_p0.95License Apache License Version2.0, January2004...运行模型基于模型镜像运行模型请阅读 模型服务 章节删除本地模型模型下载数量较多时会消耗较多的磁盘存储。通过删除历史版本或者不需要的模型可以释放存储空间对于不需要的模型可以使用ollama rm命令删除% ollamarmqwen3.5:9b模型复制模型复制是为已有模型创建一个完全相同的副本并赋予新名称ollamacpqwen3.5:9b my-custom-qwen3.5:9b模型推送可以将本地模型推送到远程仓库% ollama push qwen3.5:9b Pushing model qwen3.5:9b... Pushed model qwen3.5:9b Successfully pushed model qwen3.5:9b运行模型模型服务是由模型镜像启动的进程用于处理用户请求。运行模型在终端直接执行如下命令即可运行命令如果模型不存在也会自动下载该模型。ollama run qwen3.5:9b运行成功后就可以进行对话了。如果想退出对话使用Ctrl d快捷键 或者输入/bye% ollama run qwen3.5:9b 你好 Thinking... Thinking Process: 1. **Analyze the Request:** * Input: 你好 (Nǐ hǎo) - Chinese for Hello. * Intent: Greeting. * Language: Chinese. * Expected Response: A polite greeting in return, offering assistance. 2. **Determine the appropriate tone:** * Friendly, polite, helpful. * Match the users language (Chinese). 3. **Draft possible responses:** * Simple: 你好有什么我可以帮你的吗 (Hello! Is there anything I can help you with?) * Warm: 你好呀很高兴见到你。今天有什么我可以帮你的吗 (Hello! Nice to meet you. Is there anything I can help you with today?) * Professional: 您好我是 Qwen3.5很高兴为您服务。请问有什么可以帮您 (Hello, I am Qwen3.5, glad to serve you. How may I assist you?) 4. **Select the best response:** * Since Im an AI assistant, being polite and offering help is standard. * Keep it natural. * 你好有什么我可以帮你的吗 is good. * Maybe add a bit of warmth. 5. **Final Polish (Internal Monologue):** * The user said 你好. I should reply with 你好 and offer help. * Lets keep it concise but friendly. 6. **Final Output Construction:** * 你好有什么我可以帮你的吗 or 你好呀欢迎使用我的服务请问今天有什么可以帮您的 * Lets go with a balanced, friendly version. * Selected: 你好很高兴为你服务。今天有什么我可以帮助你的吗 7. **Output Generation** (matching the thought process). ...done thinking. 你好很高兴见到你。 有什么我可以帮你的吗无论是回答问题、创作文字还是协助分析文档我都在这里随时待命哦。 Send a message (/? for help)禁用思考方法1: 启动时添加--thinkfalse参数如果不想启动思考你可以使用--thinkfalse参数来禁用它。% ollama run qwen3.5:9b--thinkfalse早上好 早上好☀️ 新的一天开始了愿你心情愉快、充满活力。有什么我可以帮你的吗无论是回答问题、寻找灵感还是需要一点小建议随时告诉我哦方法2: 添加/set nothink命令在聊天窗口中输入/set nothink命令来禁用思考。% ollama run qwen3.5:9b/set nothink Setnothinkmode.你好 你好有什么我可以帮你的吗方法3 通过 API 调用控制在使用 Ollama 的 API 进行聊天请求时可以在请求体中设置 “think”: false 来关闭思考。{model:qwen3.5:9b,messages:[{role:user,content:你好}],think:false}查看运行中的模型通过ollama run运行启动中的模型通过ollama ps命令可以查看% ollamapsNAME ID SIZE PROCESSOR CONTEXT UNTIL qwen3.5:9b 6488c96fa5fa8.6GB100% GPU40964minutes from now停止模型通过ollama stop命令可以停止模型% ollama stop qwen3.5:9b