当前位置：首页 > news >正文

ValuesRAG：以检索增强情境学习强化文化对齐

news 2025/12/15 8:05:10

随着大型语言模型（LLMs）的迅猛发展，其在各个领域展现出强大的能力。然而，训练数据中西方中心主义的倾向，使得 LLMs 在文化价值观一致性方面面临严峻挑战，这一问题在跨文化场景中尤为突出，可能导致表述错误和公平性问题。传统的角色分配和少样本学习等方法，由于严重依赖预训练知识、缺乏可扩展性以及无法有效捕捉细微的文化价值观，在实现可靠的文化一致性方面困难重重。在此背景下，一种名为 ValuesRAG 的新颖且有效的框架应运而生，它旨在通过检索增强生成（RAG）(面向企业RAG（Retrieval Augmented Generation）系统的多维检索框架)与上下文学习相结合的方式，在文本生成过程中动态整合文化和人口统计知识，以解决 LLMs 中的文化一致性难题。

一、LLMs 文化偏差的现状与挑战

（一）文化偏差的表现

当前的 LLMs 主要基于西方数据源进行训练，这使其不可避免地反映出西方文化规范和社会偏见。例如在一些语言任务中，模型对不同文化背景的描述和评价可能带有偏向西方的倾向，在跨文化环境中部署时，常常会产生错误表述和刻板印象输出。即便部分国家开发了本地化的 LLMs，如中国的 ERNIE、韩国的 HyperCLOVA 以及多语言的 ChatGLM 等，这些模型同样受到各自训练数据集偏差的影响。

（二）现有方法的局限性

为了缓解文化偏差问题，研究人员提出了多种方法，如角色分配方法和少样本学习技术。角色分配方法仅依赖模型的预训练知识，提供预先定义的人口统计信息，但未能纳入明确的价值观对齐文本，从而引入了源于西方中心训练数据的刻板印象和偏差；少样本学习方法虽然提供了基于示例的指导，但由于不同价值观维度之间的相关性有限，难以全面捕捉复杂的文化价值观，在与示例差异较大的价值观相关任务中效果不佳，并且这些方法通常只能与单个个体的价值观对齐，无法代表具有相似特征个体的普遍价值观。

二、ValuesRAG 框架的提出与设计

（一）基本理念

ValuesRAG 创新性地利用检索增强生成（RAG）(RAG综述：探索检索增强生成技术的多样性与代码实践)和上下文学习，在文本生成过程中动态融入文化知识。该框架借助全球公认且全面的世界价值观调查（WVS）数据集，该数据集采用严谨的社会科学方法，探索了各国的价值观，覆盖 120 个国家，代表了全球 94.5% 的人口，具有广泛的地理和文化代表性。

（二）具体流程

数据集预处理
对 WVS 数据集按主题进行分层，并划分为训练集和验证集，以确保每个主题的分布得以保留。
主题问答摘要生成
使用与价值观相关的问答集为每个主题生成摘要。
个体价值观摘要生成
在生成主题摘要的同时，利用人口统计相关的问答集生成人口统计摘要，然后将所有主题摘要组合起来，形成每个个体的综合价值观摘要。
价值观检索增强生成
基于人口统计信息作为检索文档，计算测试和训练人口统计信息嵌入的余弦相似度，检索出前 100 个最相关的价值观摘要，再通过重排步骤确定最相关的前 k 个摘要，并将其纳入提示中，利用推理 LLM 生成最终答案。

三、数据集的选择与应用

（一）训练数据集

WVS 作为训练数据集，具有诸多优势。它得到广泛认可并被众多机构用于价值观研究；由领域专家设计，保证了数据的可靠性和相关性，且公开可获取，便于研究的重现和透明；其有效的结构和大规模的样本量（97,221 名受访者）适合 RAG 任务。研究使用了 2017 - 2022 年的最新数据，WVS 代码本包含 600 多个指标，其中 259 个与价值观相关，31 个与人口统计相关。

（二）测试数据集

精心挑选了六个区域调查数据集作为测试集，这些数据集满足人口统计和价值观覆盖要求，与 WVS 第七波数据在时间上接近，涵盖了广泛的地理、文化和人口统计多样性，并且公开可获取，在国家或地区层面具有统计代表性。这些数据集包括欧洲价值观研究（EVS）、美国综合社会调查（GSS）、中国综合社会调查（CGSS）、印度调查数据集（ISD）、美洲晴雨表（LAPOP）和非洲晴雨表（Afrobarometer）。

四、ValuesRAG 的实验验证

（一）实验设置

模型选择
生成任务采用 GPT - 4o - mini 模型，温度参数设置为 0.7 以平衡连贯性和创造性；检索任务使用 E5（base）模型生成嵌入并检索前 100 个最相关的价值观摘要；重排任务采用 GTE - multilingual - reranker - base 模型。
基线方法
包括零样本推理、仅角色分配方法、少样本学习方法以及结合零样本推理和角色分配的混合方法。在实验中，确保基线方法与 ValuesRAG 在使用人口统计摘要等方面的公平性。
评估方法
以准确率作为主要评估指标，将多项选择响应转换为二进制形式，以便与价值观相关问题的结构保持一致。

（二）实验分析

通过与四种基线方法的对比实验发现，角色分配方法通常优于零样本和少样本方法，它通过将模型的响应建立在明确定义的人口统计背景下，确保了更一致的性能。然而，少样本学习方法由于依赖少量示例，在泛化到未见场景时面临挑战。混合方法试图结合两者的优势，但在捕捉文化价值观的全部复杂性方面仍显不足。

相比之下，ValuesRAG 表现出色，其中 ValuesRAG（k = 3）取得了最佳结果，ValuesRAG（k = 5）紧随其后。这表明检索 3 个和 5 个摘要在检索多样性和上下文相关性之间提供了更平衡的权衡。该框架能够动态地为每个模型融入更丰富、更细致的信息，有效捕捉个体信念、社会背景和文化规范之间的相互作用。

（三）消融实验

为验证 ValuesRAG 的鲁棒性，进行了仅使用值增强生成的消融实验。结果显示，即使仅依赖价值观摘要，ValuesRAG 在所有数据集上的表现仍然优于基线方法，这证实了值增强生成方法的有效性和鲁棒性，表明 ValuesRAG 能够在无需预定义提示或人口统计锚点的情况下，动态捕捉潜在的价值模式，在不同文化背景下实现良好的泛化。

五、ValuesRAG 的意义与应用前景

（一）对 AI 系统的意义

ValuesRAG 为促进包容性的 AI 系统提供了有力支持，提升了 AI 驱动应用的可靠性和公平性。它能够有效减少 LLMs 中的文化偏差，使模型在处理不同文化相关任务时更加准确和可靠，有助于打破文化隔阂，让 AI 系统更好地服务于全球用户。

（二）在实际场景中的应用

公共政策领域
为公共政策制定者和各学科科学家提供了一种经济高效的工具，可用于完善社会模拟，更精确地预测政策结果，从而有助于制定更公平、更有效的政策。
非政府组织（NGOs）
NGOs 可以利用 ValuesRAG 开发反映特定价值取向且与用户价值观保持高度一致的 LLMs，增强其在传播理念和影响公众方面的说服力，有助于推广促进地球可持续发展和人类社会长期福祉的价值观。

六、局限性与未来展望

尽管 ValuesRAG 在文化一致性方面取得了显著进展，但它并非完美无缺。由于依赖 WVS 数据集来总结个体概况，当将这些摘要应用于其他测试集时可能存在不匹配的情况。在未来的工作中，研究团队计划探索更具适应性的检索策略，以更好地与新型数据集对齐，并研究如何结合额外的微调与检索增强生成，进一步提高每个模型的上下文准确性。

ValuesRAG 作为一种创新的检索增强生成框架，为解决 LLMs 中的文化一致性问题提供了极具前景的解决方案。它在理论和实践上的突破，不仅推动了 AI 技术在文化适应性方面的发展，也为 AI 在全球范围内的广泛应用奠定了坚实基础。

paper:https://arxiv.org/pdf/2501.01031