RAG 与 HyDE

传统 RAG 与 HyDE，直观解释！

传统 RAG 系统的一个关键问题是问题在语义上与答案不相似。

考虑以下示例，您想要找到类似于“什么是 ML？”的句子。 “什么是 AI？” 可能看起来比“机器学习很有趣”更相似。

这种语义差异导致在检索步骤中检索到几个不相关的上下文。

HyDE 解决了这个问题。

下面的视觉效果说明了这种方法与传统 RAG 的不同之处。

它的工作原理如下：

- 使用 LLM 为查询 (Q) 生成假设答案 (H)。 这个答案不必完全正确。

- 使用检索器模型嵌入答案以获得 E。 经过对比学习训练的双编码器通常用于此目的。

- 使用嵌入 E 查询向量数据库并检索相关上下文 (C)。

- 将假设答案 H、检索到的上下文 C 和查询 Q 传递给 LLM 以生成最终答案。

完成！

现在，当然，生成的假设可能会包含幻觉细节。

但这不会严重影响性能，因为检索器模型是嵌入的。

更具体地说，该模型使用对比学习进行训练，它还可以用作近无损压缩器，其任务是过滤掉虚假文档的幻觉细节。

这会产生一个向量嵌入，预计它与实际文档的嵌入的相似度要高于问题与真实文档的相似度。

多项研究表明，与传统嵌入模型相比，HyDE 提高了检索性能。

但这是以增加延迟和更多 LLM 使用为代价的。

喜欢这个吗？你也应该看看我的 RAG 系列！从构建和优化 RAG 应用程序到评估性能和制作代理和多模式系统——一切都在这里。

@akshay_pachaar