LLM 节点调参-AI不再胡扯

AI “胡说八道”LLM 节点调参Flow 搭好了跑通了上线了。然后用户反馈来了“这 AI 怎么有时候像个诗人有时候又像个杠精”或者账单来了“这 Token 怎么烧得比印钞还快”其实Dify 里的 LLM 节点就像是一辆豪车。出厂设置能开但想跑得快、省油、还不翻车你得会调教。今天不整官方文档翻译就聊聊那些参数到底咋配才能在生产环境里“稳如老狗”。1. 模型选择别动不动就“上大号”原则合适比贵重要。简单任务分类/提取用轻量模型如 Haiku、国产高速版。响应快成本低效果差不多。复杂任务推理/代码上 heavyweight如 GPT-4o。逻辑错了省那点钱不够赔用户体验的。避坑别一个模型包打天下。在 Dify 里加个“条件分支”简单问题走小路复杂问题走大路。2. Temperature温度AI 的“情绪稳定器”0.0 - 0.3高冷学霸。答案确定、严谨。适合做数学题、信息提取、JSON 输出。0.5 - 0.7正常人类。有逻辑也有点灵活性。适合大多数客服场景。0.8 - 1.0艺术家/疯子。脑洞大开但也容易胡扯。适合写诗、创意生成。血泪教训曾经有个哥们做“合同审查”Temperature 设了 0.9。结果 AI 不仅审查了合同还顺便给甲方写了首藏头诗最后把违约金条款给“创意修改”了。铁律如果要输出固定格式如 JSONTemperature 必须0。否则大括号都可能给你漏了。3. Top P Penalty专治“复读机”Top P通常保持0.9默认值最稳。别和 Temperature 同时大幅调整这俩耦合。Presence/Frequency Penalty发现 AI 像祥林嫂一样车轱辘话来回说把 Frequency Penalty 拉到0.1 - 0.3。警告别拉太高超过 0.5否则 AI 为了避开重复词开始发明新词语句就不通顺了。4. Max Tokens你的“信用卡额度”作用限制 AI 最多能说多少字。建议客服回答一般500 - 800tokens 足够了。用户没耐心看小作文。价值既省钱又防超时。别指望 AI 有分寸你得帮它踩刹车。5. 重点补课【记忆】vs【上下文】这俩最容易混很多 Flow 跑偏就是因为这儿没弄懂。记忆 (Memory)在哪配开始节点 (Start Node)不在 LLM 节点里。管什么对话历史。也就是“刚才用户说了啥AI 回了啥”。怎么配设置“窗口大小”比如最近 5 轮。场景多轮聊天必须开。如果是单轮任务比如翻译直接关掉否则带着历史记忆不仅费 Token还会干扰当前任务比如上一轮聊做饭这一轮聊代码AI 容易串台。上下文 (Context)在哪配知识库节点或LLM 节点的上下文引用。管什么外部知识。也就是“公司文档、产品手册、FAQ。怎么配通过检索节点把相关文档片段塞给 LLM。场景知识库问答必须开。俩有啥区别记忆是“流动的”每次对话都在变存的是聊天内容。上下文是“静态的”基于你的知识库存的是事实资料。别混用别把产品手册当记忆存太费钱也别指望靠记忆让 AI 记住公司规定记不住。6. System PromptAI 的“入职培训”原则指令越具体幻觉越少。错误“你是个助手。”正确“你是客服。只回答产品问题。不知道就说不知道。禁止编造价格。输出不超过 100 字。”技巧给示例Few-Shot。在 Prompt 里给两个“用户问 -AI 答”的例子比调半天参数都管用。分隔符用###把指令和变量内容隔开防止提示词注入。抄作业时间两套生产级配置为了让大家直接能上手我准备了两个典型场景的配置单。场景 A严谨的“法律条款提取器”目标从合同里提取甲方、乙方、金额输出 JSON。Model:GPT-4o 或 同等逻辑能力强的模型。Temperature:0(必须锁死)。Top P:0.1。Max Tokens:500。Memory:关闭(每次提取都是独立任务)。Context:关闭(除非你要对照法律库)。Prompt:强制要求Output JSON only并在 System Prompt 里定义 JSON Schema。场景 B贴心的“电商客服”目标陪用户聊天提供情绪价值回答产品问题。Model:国产大模型延迟低中文语感好。Temperature:0.3(稍微有点人情味但别太疯)。Frequency Penalty:0.2 (防止它一直说“我理解你”)。Max Tokens:600。Memory:开启保留最近 5-10 轮 (必须记得用户刚才说过的烦恼)。Context:开启关联产品知识库 (确保价格和功能不说错)。Prompt:“语气亲切。遇到投诉先安抚。无法解决则引导转人工。”最后三句忠告Prompt 优于参数。很多时候效果不好不是 Temperature 没调对是你 Prompt 没写清楚。先把话说明白再调参数。测试测试测试别配完直接上线。拿几十个真实用户的问题去跑一遍看看边界情况比如用户骂人、用户发乱码AI 会不会崩。盯着日志。上线后盯着 Dify 的日志看。如果某个节点的 Token 消耗异常高要么是 Memory 开太大了要么是 Prompt 写得太啰嗦。调参这事儿有点像中医把脉没有绝对的“标准答案”只有“最适合你业务”的答案。希望这篇指南能帮你省下点 Token 钱少挨点用户投诉。祝大家 Flow 跑得顺Bug 绕道走