对话机器人技术解说

一、RAG介绍

如何不通过微调模型来提高LLM性能，检索增强生成（RAG）是未来的发展方向。

• Embedding：将文档的句子或单词块转换为数字向量。就向量之间的距离而言，彼此相似的句子应该很近，而不同的句子应该离得很远
• Vector Store：Embedding文档之后将数据存储在矢量存储中，比如ChromaDB、FAISS或Pinecone。矢量存储就像一个数据库，但顾名思义，它对矢量嵌入进行索引和存储，以实现快速检索和相似性搜索
• Query:文档已经嵌入并存储，向llm提出特定问题时，会embedding查询，并在向量存储中找到余弦相似度最接近你问题的句子
• Answering Your Question：找到最接近的句子，会被注入到Prompt中，LLM现在可以在没有经过再训练或微调的情况下回答有关数据的特点问题

二、LangChain

1.LangChain框架核心目的

LangChain框架核心目的是为了连接多种大语言模型（如OpenAI、LLaMA等）和外部资源（如Google、Wikipedis、Notion以及Wolfram等），提供抽象和工具以在文本输入和输出之间进行接口处理。大语言模型和组件通过“链（Chain）”连接，使得开发人员可以快速开发原型系统和应用程序。

• 组件化：LangChain框架提供了用于处理语音模型的抽象组件，以及每个抽象组建的一系列实现。
• 现成的链式组装：LangChain框架提供了一些现成的链式组装，用于完成特定的高级任务。这些现成的链式组装使得入门变得更加容易。
• 简化开发难度：通过提供组件化和现成的链式组装，LangChain框架可以大大简化大语言模型应用的开发难度。开发人员可以更专注于业务逻辑，而无需花费大量时间和精力处理底层技术细节。

2.LangChain框架核心模块

（1）链（Chain）

LangChain为“链式”应用提供了Chain接口，并将该节接口定义得非常通过。作为一个调用组件的序列，还可以包含其他链。

（2）记忆（Memory)

存储关于过去交互的信息的能力即记忆，需要包含读取和输入两个模块

（3）数据连接（Data connection）

数据连接模块通过以下方式提供组件来加载、转换、存储和查询数据

三、Mistral-7b模型介绍

Mistral-7b是由Mistral AI开源的，在多个benchmark上超过LLaMA2

四、LlamaIndex解锁自定义LLM关键步骤分块、索引、查询介绍

1.LlamaIndex分块

由于大模型的上下文有限，处理超大文档的成本很高，而通过对原始文本上进行关键词搜索的效率是非常低的。为了客服这些挑战，LLamaIndex采用了两种关键策略。首先，它将文档分为较小的上下文，如句子或段落，这些上下文被称为节点，语言模型可以有效的处理这些节点。其次，LLamaIndex使用向量嵌入对这些节点进行索引，从而实现快速和语义搜索。

2.建立索引

在Node对象列表建立索引，节点上的文本embedding会存储在Faiss索引中，可以节点上快速进行相似性搜索。索引还存储每个节点上的元数据，如文档ID、位置等。

3.检索合成

节点可以检索某个文档的内容，也可以检索特定文档。将检索到的内容合成。