T-RAG：结合实体检测的增强检索生成模型

内容摘要：
T-RAG是一种新的大型语言模型（LLM）应用框架，在保证数据隐私的同时，提高了对私有企业文档的问答系统性能。T-RAG通过结合已有的增强检索生成（RAG）框架、自定义的开源语言模型以及一个实体树矢量数据库，来优化上下文信息的检索。

文章亮点：

• T-RAG解决了使用开源模型部署在企业内部环境中的数据安全性问题，避免通过公共API泄露敏感数据。
• 为了克服有限计算资源和小规模训练数据集的挑战，研究者将指导数据集（源自组织文档）用于训练模型。
• T-RAG引入了一个新的评估指标“Correct-Verbose”，用于评价生成响应的质量，不仅考虑响应的正确性，还考虑了包含额外相关信息的全面性。

实体树和上下文生成：

• 在用户查询时，T-RAG利用实体树和向量数据库检索相关的文档块，用作LLM上下文学习的参考资料。
• 如果查询包含组织内相关实体，那么实体树将提供有关实体的信息，并添加到上下文中。
• 例如，通过自定义的spaCy库规则，可以识别组织中的已命名实体，并结合这些实体的层级位置信息生成文本语句，然后与检索到的文档内容一起构成完整的上下文。

结论：
文章描述了T-RAG如何结合RAG结构和微调，利用部署在本地的开源模型来应对数据隐私问题，同时解决了推理延迟、tokens使用成本以及地区可用性的问题。此外，通过spaCy框架进行实体搜索和上下文生成，这些不仅是研究成果，还是基于在现实世界中构建LLM应用的经验教训。