大模型本地部署与调优

一、本地部署大模型概述本地部署大模型主要是为了省钱、为了安全和实现离线使用的标准操作。本地部署大模型的运行逻辑是用户输入提示词-软件例如Ollama加载本地大模型/工具-再返回Token数据从而避免请求云端大模型也就省了钱避免了数据泄露的风险。二、Ollama软件介绍ollama名称解析O我猜是open的意思llama羊驼产于南美就是那种脖子很长的羊。说起llama它还有另外一个产品llama.cpp,所以从名称上看就可以知道ollama是基于llama.cpp开发而来。而llama.cpp老司机看也可以知道它是用c/c写的。而Ollama是用GoGolang语言编写,通过CGo的方式实现Go调用C代码。Ollama主要负责模型下载、存储、API服务和用户交互llama.cpp负责模型推理。三、Ollama软件安装首先下载Ollama软件https://ollama.com现在下来安装即可。安装好后打开页面http://localhost:11434如果返回Ollama is running。就说明安装好了接下来就是选择大模型了。显卡内存 小于 8G或者没有显卡 qwen3.5:0.8b、qwen3.5:2b也可以选择其他同类同类型的2、3b的小模型如果CPU和内存配置较好也可以选择8b的模型显卡内存8G qwen3.5:7b、deepseek-r1:8b显卡内存16G qwen3.5:14b显卡内存24G deepseek-r1:32b显卡内存32G qwen3.5:35b具体命令如下ollama list查看ollama已有大模型列表ollama pull qwen3.5:35bollama 拉取 大模型qwen3.5:35bollama pull qwen3.5:0.8bqwen3.5:0.8b的意思是名称通义千问,版本号3.50.8b8亿参数bBillion(十亿)。参数包含如下内容权重、偏置。执行这些命令后便可以Open ollama打开如果输入提示词后运行很慢这个时候就要把模型调低点再试试效果最后会找到合适的模型。四、Ollama软件调优如果简单换大模型无法解决大模型运行缓慢的问题主要从这两方面加显卡和内存和自定义大模型接下来聊聊怎么自定义大模型下面是Modelfile的配置FROM gemma2:2bSYSTEM 你是一位医疗顾问助手。请根据用户描述的症状提供可能的解释和建议但必须在回答末尾声明本信息仅供参考不能替代专业医生的诊断。如有紧急情况请立即就医。保持回答简洁、专业、有同理心。PARAMETER temperature 0.3PARAMETER num_ctx 2048PARAMETER top_p 0.9PARAMETER repeat_penalty 1.2PARAMETER num_predict 500基础推理参数参数名称取值范围默认值作用简述temperature0.0 - 1.00.8temperature温度的意思值越高越吹牛越有创造性top_p0.0 - 1.00.9top_p,其中pProbability(概率)选择高概率词的范围控制top_k整数 (通常 0-100)40固定数量的词比如前100repeat_penalty1.0 及以上1.1避免重复token出现stop字符串序列无定义终止序列当输出包含该序列时立即停止生成。性能参数参数名称取值范围默认值作用简述num_ctx正整数2048设置模型的上下文窗口大小即它能“记住”的 token 数量。num_batch正整数512控制推理时一次处理的 token 数量影响 GPU 内存使用和速度。num_thread正整数CPU核心数设置用于计算的 CPU 线程数优化多核 CPU 性能。角色设置参数参数名称取值范围 / 格式默认值作用简述SYSTEM字符串无设置模型的系统提示词定义其核心身份和行为准则。TEMPLATE字符串 (含 {{ .Prompt }})模型自带定义对话的模板格式将用户输入和系统提示组合成最终提示。PARAMETER mirostat0, 1, 20 (关闭)启用一种算法动态调整温度以保持输出复杂度稳定。模型与模型微调参数/指令取值范围 / 格式默认值作用简述FROM模型名称 (如 llama3.2)必须指定指定构建新模型所基于的父模型是 Modelfile 的必需指令。ADAPTER文件路径无适配器针对模型进行微调。例如LoRA注会有针对LoRA专门的文章下图是基于此自定义模型开发简单应用Have a nice day!