LLM 黑话手册：从 Token 到 Agent，一次搞懂 AI 时代的核心概念

LLM 黑话手册从 Token 到 Agent一次搞懂 AI 时代的核心概念你用过 ChatGPT、Claude 或 DeepSeek 吗如果有你可能遇到过这些问题明明跟 AI 聊得好好的怎么突然它就不记得我刚才说过什么了为什么有些人说「给 AI 加个 RAG 就能解决」RAG 是什么朋友圈都在说 Agent、Fine-tuning、Context Window…… 这些词到底什么意思别担心。这篇不是技术文档而是一张地图。读完你就能听懂 AI 圈的人在聊什么。一、最基础的概念每个 AI 用户都应该知道TokenAI 看到的「单词碎片」当你打了一句话给 AI它不是按字母读的而是先切成小块。我喜欢吃苹果 → [我, 喜欢, 吃, 苹果] 拆成 4 个 TokenToken 可以是一个字、一个词、或者一个标点。英文里大约1 个英文单词 ≈ 1.3 个 Token中文里1 个汉字 ≈ 1-2 个 Token据 OpenAI 官方文档及主流 Tokenizer 统计。为什么你要知道它AI 的收费是按 Token 算的你发的每句话和 AI 回的每句话都要消耗 Token。你写一篇 2000 字的文章大概需要 3000-4000 Token。概念一句话解释TokenAI 看到的单词碎片也是计费单位输入 Token你发给 AI 的内容问题 上下文输出 TokenAI 回复你的内容Context / 上下文窗口AI 的短期记忆你有没有跟 AI 聊了很久突然它说「抱歉我不记得你之前说过什么了」这不是 AI 笨而是它的短期记忆有上限。这个上限就叫上下文窗口Context Window。早期的 GPT-3.5约 4K Token差不多一篇短文的长度据 OpenAI 2023 年技术文档GPT-4约 32K-128K Token可以记住一本书的对话据 OpenAI 模型规格说明Claude、DeepSeek V4达到1M Token可以记住《三体》三部曲的体量据 Anthropic 和 DeepSeek 官方公告Gemini最长到2M Token据 Google DeepMind 技术报告一个具体的例子你把一份 100 页的 PDF 丢给 AI让它总结。如果它的上下文窗口只有 32K它只能读到前几十页——后面的内容它根本看不到。如果它有 1M 窗口整份 PDF 都能一口气读完。上下文窗口 ≠ 记忆力。窗口只是它能看到的范围——你说的话在窗口里它就记得滑出去了就忘了。下面要讲的Memory解决的就是这个问题。Prompt你怎么说AI 怎么答Prompt提示词就是你发给 AI 的那段话。看似简单但同样的 AI不同的 Prompt 能得到完全不同的结果。不好的 Prompt帮我写一篇文章好的 Prompt帮我写一篇 800 字的中文科普文章面向完全不懂 AI 的读者解释什么是大语言模型。语气轻松友好多用类比。Prompt 的技巧已经成为一门学问叫Prompt Engineering提示工程。高级玩法包括角色设定“你是一位资深物理老师……”格式限定“用表格回答分三列……”思维链“请先分析问题给出推理过程再给出最终答案”Temperature控制 AI 的创造力当你让 AI 写一首诗你希望它每次写得不一样当你让 AI 写一段代码你希望它每次输出稳定。决定这种随机程度的参数就是Temperature温度。Temperature 0几乎每次都输出最确定的答案适合写代码、数学计算Temperature 0.7有一定随机性适合日常对话、内容创作Temperature 1.0高度随机适合头脑风暴、创意写作 一些产品中会把 Temperature 称为创造力或多样性滑块。简单记忆越低越稳定越高越有创意。二、让 AI 更聪明的技术产品经理必看RAG让 AI 边答边翻书**RAGRetrieval-Augmented Generation检索增强生成**是当前最热门的 AI 技术之一。听起来复杂但原理很简单普通的 AI 回答问题全靠脑子里的知识训练时学到的。RAG 相当于给 AI 配了一个书架——它回答问题前先去书架上翻相关的内容读完了再回答。举个例子你问 AI「我们公司去年的营收是多少」没有 RAGAI 可能瞎编一个数字因为它的训练数据里没有你们公司内部数据有了 RAGAI 先去公司的知识库搜索找到去年的财报读完后给出准确答案并告诉你「这是从 Q4 财报第 3 页看到的」RAG 的三个步骤简单理解检索收到问题去数据库里找相关文档增强把找到的文档塞进上下文窗口作为参考材料生成AI 阅读材料后作答为什么 RAG 重要它解决了 AI 最头疼的问题——知识更新。训练一次 AI 要花几千万美元不可能每周都重新训练。但用 RAG你只需要更新那个书架数据库AI 就能回答最新的问题。RAG vs Fine-tuningRAG 是让 AI 现场翻书Fine-tuning 是让 AI 回炉重造。下面讲 Fine-tuning。Fine-tuning给 AI 上培训班Fine-tuning微调是在已有的大模型基础上用你自己的数据再做一次小规模训练。还用人来类比基础模型如 GPT-4、Claude相当于一个读过万卷书的大学毕业生什么都知道一点Fine-tuning相当于送这个毕业生去参加一个为期三个月的专业培训让他成为某个领域的专家什么场景需要 Fine-tuning场景为什么不直接用 RAG为什么用 Fine-tuning让 AI 模仿特定写作风格RAG 给再多范文风格也不够稳定Fine-tuning 后风格高度一致让 AI 学会公司内部术语RAG 可以临时查但反应慢Fine-tuning 后变成本能让 AI 按特定格式输出可以用 Prompt 约束但偶尔会跑偏Fine-tuning 后稳定输出Fine-tuning 的代价贵、慢、而且每次更新都需要重新训练。所以行业里的普遍做法是能用 RAG 解决的问题不要 Fine-tuning。Memory让 AI 记住你是谁你有没有在每个新对话里都要重新告诉 AI「我叫小明我是做设计的」这就是缺乏长期记忆的问题。目前的大模型本身没有记人的能力——每次新对话它都是失忆状态。Memory记忆就是解决这个问题的技术。它的实现方式比你想象的简单把重要的信息你的名字、偏好、历史行为存进一个数据库每次启动新对话时自动把这些信息塞进上下文窗口。市面上已经有很多产品在做这件事ChatGPT 的 Memory 功能你告诉它你的信息它记住后跨对话使用Claude 的 Projects可以在项目级别设定固定知识各种 AI 应用记住你的阅读偏好、购物习惯、语言选择Memory、Context、RAG 的区别Context Window一次性能看到多长的对话硬件限制Memory跨对话保存重要信息长期存储RAG根据问题实时查找相关资料按需检索三、AI 的智能升级开发者关注Agent让 AI 自己动手做事普通的 AI 对话是你问它答。Agent智能体则更进一步——它自己去执行任务。没有 Agent你帮我分析这个 Excel 文件的数据AI好的请你先上传文件卡住了因为你不能上传有 Agent你帮我分析这个 Excel 文件的数据Agent好的我先连接数据库拉取数据运行分析脚本然后把结果汇总给你自动执行调用数据库 → 运行 Python → 输出报告一个 Agent 通常包含三个核心能力感知理解你的目标和当前环境规划拆解任务确定执行步骤行动调用工具查数据库、发邮件、操控软件来完成任务目前最典型的 Agent 应用是编程助手——你让它写一个功能它自己搜索文档、写代码、跑测试、修 Bug直到功能完成。AI vs AgentAI 是大脑Agent 是大脑 手和脚。Tool Use / Function Calling给 AI 配工具Tool Use工具调用是 Agent 的基础能力。它让 AI 不再只是说话而是能调用外部工具。比喻你给一个天才研究员配了一台电脑、一个计算器、和一部电话——他就能做远超自己能力的事情。常见的工具工具类型例子用途搜索联网搜索获取实时信息计算运行 Python 代码做精确的数学计算数据库查询 SQL获取业务数据API调用外部服务发邮件、查天气、下单Chain of Thought让 AI 学会先想再答你有没有发现有时候让 AI「一步步思考」它的答案会更准确Chain of Thought思维链CoT就是这个技巧的正式名字。它让 AI 在给出最终答案之前先展示它的推理过程。没有 CoTQ一家商店以 60 元买入一件商品以 80 元卖出然后又以 90 元买入以 100 元卖出。赚了多少钱A10 元 ❌有 CoTQ一家商店以 60 元买入一件商品以 80 元卖出然后又以 90 元买入以 100 元卖出。赚了多少钱请一步步思考。A第一次交易买入 60 → 卖出 80赚 20 元第二次交易买入 90 → 卖出 100赚 10 元总共20 10 30 元 ✅这就是在 Prompt 里加一句请一步步思考为什么这么有用。OpenAI 的 o1、DeepSeek R1 等模型已经把这个能力内化成了模型本身的思维模式。HallucinationAI 也会编故事你有没有遇到过 AI 一本正经地给出一个看起来合理、但实际上是错误答案的情况这就是Hallucination幻觉。大模型本质上是根据概率预测下一个词的机器——它没有事实核查的机制。当它不确定答案时它不会说我不知道而是会自信地编造一个听起来合理的回答。常见的幻觉类型类型例子原因事实错误说某本书的作者是错的训练数据中的信息模糊编造引用凭空生成一篇不存在的论文模型以为这是合理的输出逻辑矛盾前后两句话自相矛盾长对话中丢失了前文数字不准给出似是而非的数据模型对精确数字天生不擅长怎么应对让 AI 注明信息来源、使用 RAG 提供参考资料、关键信息人工核对。不要把 AI 当搜索引擎用而要当需要监督的助手用。四、常见 AI 产品与平台概念除了技术概念日常还会遇到一堆产品名称和平台名词。这里集中解释几个容易混淆的。OpenAI / ChatGPT掀起 AI 浪潮的公司和产品OpenAI是美国 AI 公司开发了GPT 系列模型。他们的产品包括ChatGPT面向大众的 AI 聊天产品目前使用 GPT-5 系列模型GPT-4o / GPT-5.5模型版本号数字越大越新越强o1 / o3OpenAI 的推理模型擅长数学和逻辑特点是先想后答DALL·EAI 生图工具Claude另一个顶级 AI 模型Claude是 Anthropic 公司开发的 AI 模型和 GPT 是直接竞争对手。主要特点长上下文Claude 率先做到 200K Token 窗口现在最高 1M安全性优先Anthropic 的核心理念是做有用且安全的 AIClaude Code面向开发者的编程助手可以直接在终端里写代码、操作文件GeminiGoogle 的 AI 全家桶Gemini是 Google 的 AI 模型系列。最大特点是原生多模态——出生就支持看图、看视频、听音频不像其他模型是后来才加上去的。DeepSeek中国的开源挑战者DeepSeek是中国 AI 公司以强模型极低价格受到关注。V4 版本在多项编程能力评测如 SWE-bench、HumanEval中达到全球开源第一API 价格约为 GPT-4o 的 1/9据 DeepSeek 官方定价页面。也是首个在华为芯片上完成训练的万亿参数模型据 DeepSeek 技术论文。各种Bot和Agent产品现在市面上有大量 AI 产品名字里带Bot或AgentChatbot聊天机器人最基本的 AI 对话产品一问一答AI Agent / AI Bot智能体能主动执行任务的 AI不止是聊天Clawbot / 各类定制 Bot很多公司会封装自己的 AI Bot名字随意起但本质上都是「大模型 特定功能 定制知识库」的组合判断一个 Bot 是否靠谱的方法问自己三个问题——它的底层用的是哪个模型GPT / Claude / DeepSeek / 自研它有没有接入外部知识RAG还是纯靠模型本身的训练知识它有什么工具可以用联网搜索文件处理API 调用开源 AI 工具生态LLMOps围绕大模型已经形成了一个庞大的开源工具生态业内通常称为LLMOps大模型运维。简单说就是大模型是发动机各种开源工具就是方向盘、轮胎、仪表盘——把它们组合起来才能造出一辆能跑的车。常见的开源 AI 工具包括工具是什么用来干嘛LangChainAI 应用开发框架把 RAG、Agent、Tool Use 串起来LlamaIndex数据连接器方便地把各种数据源接进 AIOllama本地跑模型工具在自己的电脑上运行开源模型HuggingFaceAI 模型应用商店下载和分享开源模型AutoGPT自主 Agent 项目让 AI 自己设定目标并执行为什么不直接用大模型厂商的产品因为很多时候你需要自己控制数据、定制流程、降低成本。这套开源工具生态让你可以用 DIY 的方式构建自己的 AI 系统而不必完全依赖 OpenAI 或 Anthropic。五、名词关系一览所有概念不是孤立的它们之间的关系是这样的┌─────────────────────┐ │ 大语言模型 (LLM) │ │ (GPT / Claude / DS) │ └──────────┬──────────┘ │ ┌────────────────┼────────────────┐ ▼ ▼ ▼ ┌──────────┐ ┌───────────┐ ┌────────────┐ │ 输入的 │ │ 对话的 │ │ 能力扩展 │ │ 单位 │ │ 范围 │ │ │ ├──────────┤ ├───────────┤ ├────────────┤ │ Token │ │ Context │ │ RAG │ │ │ │ Window │ │ Fine-tune │ │ Prompt │ │ Memory │ │ Tool Use │ │ │ │ │ │ Agent │ └──────────┘ └───────────┘ └────────────┘一句话版Token是 AI 理解语言的基本单位Prompt是你跟 AI 说话的方式。Temperature控制 AI 的创造力。Context Window是 AI 一次性能记住多长对话Memory让它跨对话也能记住你。RAG让 AI 可以现场查资料Fine-tuning则是给它做专项培训。Agent让 AI 从回答问题进化到主动做事Chain of Thought让它学会先想后答而Hallucination提醒你 AI 也会编故事——需要你保持判断力。写在最后按角色回顾AI 名词层出不穷——说明这个行业正在快速成型。但本质上每个名词背后都是同一个问题怎么让机器更好地理解人类、帮助人类。不同的角色可以从这份手册中重点关注不同的概念你的角色优先关注为什么普通用户Token、Context Window、Prompt、Hallucination日常使用中直接相关的概念理解了就能更好地使用 AI产品经理RAG、Fine-tuning、Memory、Temperature决定产品策略和技术选型的核心知识开发者Agent、Tool Use、Chain of Thought、开源工具生态构建 AI 应用的技术基础下次再看到 AI 新名词你可以拆解它它解决的是什么问题它是在改进输入Prompt、增强知识RAG、还是扩展能力Agent它和我有什么关系带着这三个问题你就不会被下一个新名词搞晕了。这篇文章面向零基础读者力求通俗。如有技术细节上的不准确欢迎指正。