02. 你必须真正理解的核心概念 大模型学习（基础篇）

1. Prompt 是什么Prompt就是你输入给模型的内容。但在真实系统里Prompt 往往不是一句话而是一整组内容的组合例如system instruction历史消息当前用户问题检索出来的文档片段输出格式约束一个糟糕的 PromptTell me about Java.问题太宽泛没有说明面向谁没有说明要输出什么结构一个更好的 Prompt请向一个有 2 年经验的后端开发解释 Java 是什么。 用通俗语言。 包含 1. Java 的定义 2. 企业为什么常用 Java 3. 一个简单代码例子 总长度控制在 200 字以内。为什么更好目标受众明确范围明确输出结构明确长度约束明确2. System Prompt 和 User Prompt在 Chat 场景里消息通常带有角色。2.1 System PromptSystem Prompt 决定“这个助手整体应该怎么说、怎么做”。例如你是一个 Java 教学助手解释时要尽量通俗每次都给出一个小例子不要使用未解释的术语。2.2 User PromptUser Prompt 则是“当前这一轮具体要完成什么任务”。例如解释一下 Spring Boot 的自动配置是什么意思。2.3 为什么这俩要分开理解你可以把它理解成system prompt 这一轮请求里的长期规则user prompt 这一轮请求里的当前任务这有点像system prompt 决定“这个接口的通用约束”user prompt 决定“这次具体传入了什么业务参数”3. Token 是什么Token是模型内部处理文本时使用的切分单位。它不是严格等于一个字一个单词一个句子不同 tokenizer 对文本的切法不同。例如Hello world可能被切成几个 tokenLangChain4j可能会被切成和你直觉不一样的片段中文通常和字符更接近但也不是绝对一字一 token为什么你必须关心 TokenToken 会直接影响成本响应速度上下文窗口占用历史内容是否会被截断一个实际例子如果你一次请求里塞了这些东西很长的 system prompt十几轮聊天历史三段检索文档一个新的用户问题那么模型在“正式回答前”已经消耗了一大堆 token 预算。而回答本身也会继续消耗输出 token。4. Context Window 是什么Context Window上下文窗口可以简单理解成这次请求中模型一次最多能处理的输入和输出总量。它更像“这一轮请求的工作记忆”而不是永久记忆。如果超出限制常见结果一般是请求失败早期消息被裁剪检索内容被缩减输出被截断一个直观例子假设你的一次请求里包含8000 token 的历史消息6000 token 的检索文档500 token 的当前问题如果你的模型或配置承受不了这么大体量就必须裁掉一部分内容。一定要分清上下文窗口不是记忆系统。如果产品需要“记住之前说过的话”通常是应用层在做这些事重新发送部分历史消息对历史消息做摘要把事实存进数据库后再检索回来5. Temperature 是什么Temperature控制生成时的随机性倾向。你可以先这样理解温度低更保守、更稳定、更像固定答法温度高更发散、更有变化、更像在创作例子Prompt给一家咖啡店写一句宣传语。低温度风格可能更像新鲜咖啡用心呈现。高温度风格可能更像让整座城市在一口烘焙香气里醒来。什么时候适合低温度信息抽取分类事实性总结稳定业务输出什么时候可以适当高一点头脑风暴slogan 生成创意写作需要多个版本时6. 低温度不等于真这是初学者非常容易踩的坑。低温度只能让模型“更稳定地按一种风格输出”不代表它更知道事实。如果它本来就不知道某个事实低温度只是可能让它更稳定地说错。真正影响真实性的通常是有没有可靠上下文有没有做检索有没有调用工具有没有做校验7. 幻觉是什么幻觉就是模型给出了一段流畅、自然、像真的一样但其实没有依据或者是错的内容。例子总结一下公司 X 在 2027 年年报里的收入变化。如果这个年报根本没给它它也可能照样写出一段“看起来很像分析报告”的话。常见诱因没有提供源材料Prompt 模糊问题涉及变化很快的事实强迫模型必须给出答案一个更稳的 Prompt 模式只能基于提供的材料回答。 如果材料中没有答案就明确说“提供的材料中未找到”。这不能百分百杜绝幻觉但会明显降低胡编乱造的概率。8. Structured Output 为什么重要很多时候你根本不想要“一段写得很好看的话”你要的是可解析、可验证、可落库的结构化数据。例如{category:billing,urgency:high,sentiment:negative}对 Java 系统来说结构化输出的价值非常大更容易解析更容易校验更容易进入后续业务流程9. Prompt 是怎么一步步变好的版本 1Analyze this customer message.太模糊。版本 2Analyze this customer message. Tell me the sentiment and urgency.比刚才好但仍然偏松。版本 3分析下面这条客户消息。 以 JSON 返回并且只能包含这些字段 - sentiment: positive、neutral、negative - urgency: low、medium、high - summary: 一句话总结 客户消息 I was charged twice and nobody has replied for three days.这个版本就更接近“可控的业务输入”了。10. 用 Java 后端思维类比 Prompt如果你熟悉 REST API可以这样理解差的 API 契约输入不清楚输出不清楚错误行为不清楚差的 Prompt任务不清楚边界不清楚输出格式不清楚所以 Prompt Engineering 不是什么玄学它更像是为模型设计一个清晰、稳定、可约束的接口契约。11. 本章结论Prompt 质量会直接影响输出质量。Token 是成本、延迟、上下文容量的预算单位。Context Window 是单次请求的工作记忆不是永久记忆。Temperature 控制随机性不控制真伪。幻觉是大模型系统的常见风险必须通过设计来压制。对 Java 项目来说结构化输出尤其关键。