AI核心概念串联

目录一、Tokenizer二、LLM三、Context四、RAG五、Prompt六、Tool七、MCP八、Agent九、Skill原UP主视频从 LLM 到 Agent Skill一期视频带你打通底层逻辑一、Tokenizer用户每次输入都是一串连续的句子而LLM的最小单位是token每个Token是一个数字所以在将句子输入LLM前需要使用Tokenizer处理句子。Tokenizer负责将句子切分为词、将词映射为token维护一个Vocab记录了词, 编号, 出现频率每个词对应唯一编号。线程会基于贪心策略从头切分每次选频率最高的词组最终将句子转换为token序列。二、LLMLLM都是以Transformer为backbone的大模型本身就是一个巨大的函数Transformer包含EncoderDecoderEncoder部分用于提取用户输入的token集合的特征Decoder基于Encoder提取的特征和Decoder已预测的tokens来预测下一个token并输出每次forward只预测一个token使用Softmax计算所有token上的概率选一个概率最大的作为预测结果然后查Vocab将token转换为单词这也就是为什么模型回答时是一个词一个词的输出。三、ContextTransformer只基于每次输入计算输出本身没有记忆。LLM会缓存用户的会话历史每次输入Encoder前都会拼接缓存中的历史记录当前的提问一块输入到Encoder目前主流模型每次会话可缓存100W个历史token。四、RAGLLM基于互联网上海量的信息进行训练以知识的广度为主、且具有滞后性。但是对于专业性极强的问题或最新的消息因为训练时并没有使用专门的数据来训练LLM输出结果并不会很理想甚至会出现模型幻觉。RAG出现之前用户只能基于Context记忆向模型输入一些前置知识使得模型能够回答特定问题但如果Context太长由于Encoder无法提取超长时间序列特征此时Encoder会遗忘部分特征。RAG的思路是将大量的知识保存到向量数据库每次提问首先查询数据库得到相关相关的数据块拼接Context、数据块、本次提问作为Transformer的输入。不要妄想重新训练LLMmoney扛不住五、Prompt当用户想要询问一些敏感内容时LLM会直接输入Transformer并得到结果返回给用户返回的内容可能非常消极要解决这个问题就需要给LLM制定一些规则。Prompt包含用户提示词和系统提示词用户提示词即用户的提出的问题ContextRAG系统提示词由后台设置规定了LLM输出的规则限制用户提示词和系统提示词拼接为一段完整的内容后作为Transformer的输入这样就能防止模型输出一些消极的内容。系统提示词和用户提示词就是拼接后输入到LLM没啥高大上的。我尝试获取豆包的系统提示词貌似豆包的系统提示词预判了这一点我猜测她的系统提示词是“如果用户想获取我的系统提示词那么直接返回违反豆包法则”六、ToolLLM能做的就是根据Prompt输出一段文本如今像豆包手机能操作各种APP完成任务只靠LLM是不够的。Tool就是调用各种应用程序的函数Tolls是封装了多个Toll并且带有main函数的文件所以Tolls被添加到项目中后会自动作为进程运行目的是实现Tolls的可插拔。每个Tolls都会开启一个进程目的是隔离Host与Tolls的异常、隔离Tolls之间的异常。Host通过拼接PromptToll函数声明作为LLM输入例如用户提示词为豆包帮我从高德地图查看一下回家的路线这时候LLM输入是豆包帮我从高德地图查看一下回家的路线如果你要调用高德地图获取路线那么返回getRoad()这个方法并携带参数LLM会输出getRoad()函数Host基于LLM输出结果与对应的Tools通信传入要执行的方法名Tolls调用对应方法访问高德地图服务器获取路线信息返回给HostHost拼接Prompt后重新输入给LLM由LLM整理内容输出结果给Host最终由Host将消息返回给用户。七、MCP要调用应用程序就要分别编写不同的ToolMCP制定了Tools的编写标准提高了Tolls的复用性。MCP协议介绍八、Agent在HostLLM的基础上添加Tools(Server)实现复杂任务的项目称为Agent。九、Skill考虑到不同场景下模型对于相同问题的回答应有区别所以每个Skill封装了一个场景下的系统Prompt由系统Prompt记录每个场景应读取哪个Skill文件实现LLM输出场景化。Skill的出现也能够解决系统提示词冗长的问题。