大语言模型-LLM简介

       大语言模型如此火爆，查了些资料整理一下，做个初步的了解。

        语言模型的发展从开始的统计方法到使用神经网络，再到现在通过使用Transformer架构的模型训练大量数据，理解文本规则和模式，同时随着训练数据和模型的扩大，语言模型的能力提升显著，此时大语言模型出现了-LLM。

        相比于之前的明星模型-BERT，虽然大预言模型使用的架构和预训练任务相似，但参数数量级的提升使他们有了质的差别。BERT的参数为3.3亿，GPT-2为15亿，而GPT-3则有1750亿参数。此时GPT-3相比之前的模型，就有解决少样本任务的能力了，这种能力可称为涌现能力。

LLM的独特能力

        上下文学习：语言模型在获得指令或任务示例时，通过上下文生成答案，此时不需要额外训练或更新参数。

        指令微调：LLM可以处理未见过的任务，泛化能力强大。

        推理能力：LLM可通过中间推理步骤的提示机制解决中间的任务得到最终的答案。

LLM的特点

        模型规模大：参数通常在数十亿，甚至千亿规模，这也是大模型可以获取更多信息的基础。

        预训练和微调：LLM使用大量无标签文本数据做预训练，获取通用的知识，再通过微调在单独任务重获得更好的效果。         

        上下文理解：可解决小模型对前文理解不足的问题。

        支持多模态：LLM可支持图像、声音等内容的扩展。

现有的大模型

        LLM大放异彩是从OpenAI发布ChatGPT开始的，后面还有Claude、PaLM、Bard等，但由于网络原因，并不好用，而且还需要国际支付以获取user key，国内使用不是很友好。

        国内的LLM主要有文心一言、讯飞星火、通义千问等，分别由百度、讯飞、阿里推出。放开测试后只需手机号就能使用，但有些功能需要收费了。

LangChain

        一个开源工具，帮助开发者调用大模型并应用于下游任务，其为LLM提供了通用接口，简化开发流程。

        主要有六个标准接口：

        Input/Output：用户输入及模型输出的结果

        Data：将自由数据输入模型训练

        Chain：链接多个LLM或组件

        Memory：对每个用户生成短期记忆，加强对上文的理解

        Agent：为LLM提供计算、检索等功能的支持

        Callback：记录流程信息