当前位置：首页 > news >正文

【LLM】25.1.11 Arxiv LLM论文速递

news 2025/6/18 20:19:24

25.1.10 12:00 - 25.1.11 12:00 共更新36 篇

—第1篇----

=====

Supervision policies can shape long-term risk management in general-purpose AI models

🔍 关键词: 通用型人工智能，风险管理，监督政策，模拟框架

PDF链接

摘要: 通用型人工智能（GPAI）模型，包括大型语言模型（LLM）的快速普及和部署，给AI监管实体带来了前所未有的挑战。我们假设这些实体需要在新兴的风险和事件报告生态系统中进行导航，可能会超出它们的监管能力。为研究这一点，我们开发了一个模拟框架，该框架由从多样化的风险、事件或危害报告生态系统中提取的特征参数化，包括社区驱动的平台、众包项目和专家评估。我们评估了四种监管策略：非优先（先到先服务）、随机选择、基于优先级（首先解决最高优先级风险）和多样性优先（平衡高优先级风险与各类风险类型的全面覆盖）。我们的结果表明，基于优先级和多样性优先的策略在减轻高影响风险，特别是专家识别的风险方面更有效，但它们可能无意中忽视了更广泛社区报告的系统性问题。这种疏漏可能导致反馈回路，放大某些类型的报告而抑制其他类型的报告，导致整体风险景观的感知偏差。我们使用多个现实世界的数据集验证了我们的模拟结果，其中包括一个包含超过一百万次ChatGPT交互的数据库，其中超过150,000次对话被识别为有风险。这一验证强调了AI风险监督中固有的复杂权衡，并突出了风险管理政策的选择如何塑造社会中使用的多样化GPAI模型的未来AI风险景观。
总结: 本文探讨了不同的AI风险监督政策如何影响通用型AI模型的长期风险管理，揭示了优先级策略与多样性策略在处理高影响风险与系统性问题之间的权衡。
###【arXiv编号】2501.06137v1
###【git】
###【期刊】
###【领域】人工智能风险管理

[推荐指数：4]

该研究提出了一个用于评估AI风险管理监督政策的模拟框架，并通过真实数据验证，具有较高的创新性和实际应用价值，有助于指导AI风险监督实体优化其策略。

—第2篇----

=====

Contextual ASR Error Handling with LLMs Augmentation for Goal-Oriented Conversational AI

🔍 关键词: 自动语音识别, 大型语言模型, 目标导向对话, 错误处理

PDF链接

摘要: 通用的自动语音识别（ASR）系统在目标导向的对话中表现不佳。现有的ASR校正方法依赖于先前的用户数据或命名实体。我们将校正扩展到没有先前用户数据且具有语言灵活性的任务，如词汇和句法变异。我们提出了一种使用大型语言模型进行上下文增强的新方法，以及一种结合目标导向对话AI及其任务的对话状态情境信息的排序策略。我们的方法通过上下文的词汇和语义相似性，对n-best ASR假设进行排序，并通过ASR假设的语音对应关系对上下文进行排序。在家居改进和烹饪领域对真实用户进行评估，我们的方法在保持精确度和假阳性率的同时，提高了校正的召回率和F1值，分别提升了34%和16%。当我们的校正方法正常工作时，用户评分提高了0.8-1分（满分5分），且未因假阳性而下降。
总结: 利用大型语言模型增强上下文信息的ASR错误处理方法显著提升了目标导向对话系统的校正性能。

###【arXiv编号】2501.06129v1

###【领域】计算机科学-计算语言学, 人工智能

[推荐指数：4]

该研究提出了创新的上下文增强方法，利用大型语言模型显著提高ASR系统在目标导向对话中的校正性能，具有较高的实用价值，尽管在创新性上还有进一步提升空间。

—第3篇----

=====

LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs

🔍 关键词: 大型语言模型, 视觉推理, 多步骤推理, 基准测试, 模型训练

链接1

摘要: 推理是解决复杂多步骤问题的基本能力，特别是在视觉环境中，顺序逐步的理解尤为重要。现有方法缺乏用于评估视觉推理的全面框架，也不强调逐步的问题解决。为此，我们提出了一个全面的框架，通过三大贡献来推进大型语言模型（LLMs）中的逐步视觉推理。首先，我们引入了一个专门设计用于评估多步骤推理任务的视觉推理基准。该基准呈现了一组多样的挑战，涵盖从复杂的视觉感知到科学推理的八个不同类别，总计超过4千个推理步骤，能够全面评估LLMs在多个步骤中的准确且可解释的视觉推理能力。其次，我们提出了一种新颖的指标，从各个步骤的粒度评估视觉推理质量，强调正确性和逻辑一致性。与传统的最终任务准确性指标相比，该指标可以更深入地了解推理性能。第三，我们提出了一种新的多模态视觉推理模型，称为LlamaV-o1，采用多步骤课程学习方法进行训练，任务逐步组织以促进增量技能获取和问题解决。所提议的LlamaV-o1旨在进行多步骤推理，并通过结构化的训练范式逐步学习。大量实验表明，我们的LlamaV-o1优于现有的开源模型，并与闭源专有模型相比表现优异。与最近的Llava-CoT相比，我们的LlamaV-o1在六个基准上平均得分为67.3，绝对提升了3.8％，同时在推理扩展时速度提高了5倍。我们的基准、模型和代码均已公开。

总结: 提出了一种面向大型语言模型的多步骤视觉推理新框架，并通过基准测试和新模型LlamaV-o1证明了其优越性。

###【arXiv编号】2501.06186v1

###【git】

###【期刊】

###【领域】计算机视觉

[推荐指数：4]

该研究在视觉推理的基准测试、评估指标和模型训练方面具有创新性贡献，实验结果显示模型性能优越，具备较高的实用性。

—第4篇----

=====

S2-Attention: Hardware-Aware Context Sharding Among Attention Heads

🔍 关键词: 稀疏注意力, FLOPs, FlashAttention, 大型语言模型, Triton库, 并行化, 内存IO优化

PDF链接

摘要: 稀疏注意力通过选择性地关注上下文中的子集令牌，原本应具有高效性。然而，由于缺乏类似FlashAttention的硬件感知优化，其理论上的FLOPs减少很少转化为相对于密集注意力的实际运行速度提升。与此同时，稀疏注意力是否能在当今大型语言模型（LLMs）的规模下保持模型质量仍不明确。本论文提出了Sparsely-Sharded (S2) Attention，这是一个Triton库，提供了可在每个注意力头和每个上下文范围级别进行自定义的稀疏注意力内核优化。S2-Attention使得探索新颖且高性能的稀疏注意力技术成为可能，我们通过广泛的消融实验展示了在各种模型规模下不同稀疏注意力设计的性能。从这些见解中，我们提出了设计稀疏注意力的几个基本指南，这些指南不仅能实现实际效率的提升，还能保持强劲的下游性能。为了实现高并行化和优化的内存IO，稀疏注意力应在注意力头之间异质地分割上下文，即每个头关注不同的令牌子集，同时共同覆盖整个上下文。同时，我们发现结合稀疏和密集注意力的混合架构在实践中特别有益。与强大的FlashAttention-2基线相比，S2-Attention在实际运行时间上实现了8.79倍、15.87倍和25.3倍的加速，同时在128k上下文长度下实现了与全注意力一致的下游性能和完美检索性能。在推理阶段，对于7B模型，在我们的S2-Attention内核的帮助下，速度比密集对手提升了4.5倍。S2-Attention以易于自定义的API发布，可直接用于Megatron和vLLM。

总结: S2-Attention通过硬件感知的上下文分片技术显著提升了稀疏注意力的运行效率，并在保持模型性能的同时实现了大幅度的速度提升。

###【arXiv编号】2407.17678v6

###【期刊】

###【领域】计算机科学，计算语言学

[推荐指数：5]

S2-Attention在稀疏注意力优化方面具有显著的创新性和实用性，通过硬件感知的优化实现了极大的运行速度提升，同时保持了模型的高性能，适用于当前大型语言模型的高效训练和推理，是该领域的重要进展。

—第5篇----

=====

From Conversation to Automation: Leveraging Large Language Models to Analyze Strategies in Problem Solving Therapy

🔍 关键词: Problem-solving therapy, Large Language Models, GPT-4o, Therapeutic Interventions, Automation

链接1

摘要: 问题解决治疗（PST）是一种结构化的心理方法，帮助个人通过问题识别、解决方案头脑风暴、决策和结果评估来管理压力和解决个人问题。随着心理健康护理越来越多地整合诸如聊天机器人和大型语言模型（LLMs）等技术，理解如何有效地自动化PST变得重要。本研究利用匿名化的治疗记录，使用各种LLMs和基于变换器的模型来分析和分类治疗干预。我们的结果显示，GPT-4o在识别PST策略方面达到了最高准确率（0.76），优于其他模型。此外，我们引入了一个新的沟通策略维度，增强了当前的PST框架，提供了关于治疗师与客户互动的更深入见解。这项研究展示了LLMs自动化复杂治疗对话分析的潜力，提供了一种可扩展、高效的心理健康干预工具。我们的注释框架可以增强PST的可访问性、有效性和个性化，支持治疗师实时进行更精确、针对性的干预。
总结: 本研究展示了大型语言模型在自动化问题解决治疗中的潜力，提供了可扩展和高效的心理健康干预工具。
###【arXiv编号】2501.06101v1
###【git】
###【期刊】
###【领域】计算机科学，计算语言学，心理健康技术

[推荐指数：4]

本研究在将大型语言模型应用于心理健康治疗自动化方面具有创新性和实用性，提供了提升心理健康干预效率和个性化的有效工具。

—第6篇----

=====

LUMIA: Linear probing for Unimodal and MultiModal Membership Inference Attacks leveraging internal LLM states

🔍 关键词: 大型语言模型, 线性探针, 成员推断攻击, 多模态

链接1

摘要: 大型语言模型（LLMs）越来越多地被应用于各种场景，但关于成员推断的担忧也在同步上升。以往的研究主要集中于黑盒到灰盒模型，忽视了利用LLM内部信息的潜在优势。为此，我们提出使用线性探针（LPs）作为通过检查LLMs内部激活来检测成员推断攻击（MIAs）的方法。我们的方法，命名为LUMIA，逐层应用LPs，以获取模型内部工作机制的细粒度数据。我们在多个模型架构、规模和数据集上测试了该方法，包括单模态和多模态任务。在单模态MIA中，LUMIA在曲线下面积（AUC）上相较于之前的技术平均提升了15.71%。值得注意的是，LUMIA在65.33%的情况下达到AUC>60%，比现有技术提升了46.80%。此外，我们的方法揭示了MIAs最易被检测到的模型层。在多模态模型中，LPs表明视觉输入可以显著增强MIAs的检测能力——在85.90%的实验中达到AUC>60%。
总结: LUMIA方法通过逐层线性探针显著提升了对大型语言模型中单模态和多模态成员推断攻击的检测能力。
###【arXiv:2411.19876v3】
###【期刊】未提供
###【领域】人工智能，计算机安全

[推荐指数：4]

LUMIA在检测成员推断攻击方面展现出显著的创新性和实用性，尤其在多模态模型中的表现卓越，对提升大型语言模型的安全性具有重要意义。

—第7篇----

=====

“愚蠢的机器人，我想与真人对话！” 面向任务的对话系统中的用户挫败感检测

🔍 关键词: 用户挫败感检测, 任务导向对话系统, 情感分析, 对话中断检测, 大规模语言模型

PDF链接

摘要: 在现代任务导向型对话系统中检测用户挫败感对于维持整体用户满意度、参与度和留存率至关重要。然而，大多数最新研究都集中在学术环境中的情感和情绪检测上，因此未能完全涵盖现实世界用户数据的影响。为缩小这一差距，本文聚焦于部署的任务导向对话系统中的用户挫败感，评估现成解决方案在用户挫败感检测中的可行性。具体而言，我们比较了已部署的基于关键词的方法、开源情感分析方法、对话中断检测方法以及新兴的基于大规模语言模型的情境学习检测方法的性能。我们的分析突显了开源方法在现实世界挫败感检测中的局限性，同时展示了基于大规模语言模型的方法的优越性能，在内部基准测试中F1分数相对提升了16%。最后，我们分析了这些方法的优缺点，并为行业从业者提供了用户挫败感检测任务的见解。

总结: 基于大规模语言模型的方法显著提升了任务导向对话系统中用户挫败感的检测效果。

###【arXiv:2411.17437】

###【期刊】: 尚未发表

###【领域】: 计算机科学，自然语言处理，智能对话系统

[推荐指数：4]

=====

—第8篇----

=====

Are We Done with MMLU?

🔍 关键词: 自然语言处理, 人工智能, 语言理解

PDF链接

摘要: 也许还没有。我们在流行的多任务语言理解（MMLU）基准中识别并分析了错误。尽管MMLU被广泛采用，但我们的分析表明存在大量的真实错误，这些错误掩盖了大型语言模型（LLMs）的真实能力。例如，我们发现病毒学子集中的57%的分析问题存在错误。为了解决这个问题，我们引入了一个使用新颖错误注释协议的全面数据集错误识别框架。然后，我们创建了MMLU-Redux，这是一个涵盖所有57个MMLU学科的5700个手动重新注释问题的子集。我们估计MMLU问题中有6.49%存在错误。使用MMLU-Redux，我们展示了与最初报告的模型性能指标存在显著差异。我们的结果强烈主张修订MMLU中存在错误的问题，以增强其未来作为基准的实用性和可靠性。
总结: 该研究揭示了MMLU基准中的显著错误，并通过MMLU-Redux提升了基准的可靠性，为评估大型语言模型的能力提供了更准确的工具。
###【arXiv编号】2406.04127
###【git】MMLU-Redux on Hugging Face
###【期刊】
###【领域】自然语言处理, 机器学习, 语言理解

[推荐指数：4]

=====

—第9篇----

=====

Addressing speaker gender bias in large scale speech translation systems

🔍 关键词: 说话人性别偏见, 语音翻译系统, 大型语言模型, 模型微调

链接1

摘要: 本研究解决了语音翻译（ST）系统中的说话人性别偏见问题，这种偏见可能导致冒犯性和不准确的翻译。大型ST系统中常见的男性偏见通常通过来自机器翻译（MT）系统的训练数据得以延续。我们的方法包括两个关键步骤。首先，我们采用大型语言模型（LLMs）以具有成本效益的方式根据说话人的性别纠正翻译。其次，我们使用纠正后的数据微调ST模型，使模型能够直接从音频提示生成性别特定的翻译，而无需明确的性别输入。此外，我们提出了一种三模式微调模型，用于说话人性别预定义或不应从语音提示中推断的场景。我们在MuST-SHE测试集上展示了与Baseline及其他大型ST系统（如Seamless M4T和Canary）相比，女性说话人的翻译改进了70％。
总结: 通过利用大型语言模型纠正和微调，研究显著减少了语音翻译系统中的性别偏见，提升了女性说话人的翻译准确性。

###【arXiv:2501.05989v1】
###【git】
###【期刊】
###【领域】计算语言学, 人工智能

[推荐指数：4]

该研究提出了一种创新且高效的方法，通过大型语言模型和模型微调，显著减少了语音翻译系统中的性别偏见，具有较高的实用性和研究价值。

—第10篇----

=====

Exploring LLMs for Automated Pre-Testing of Cross-Cultural Surveys

🔍 关键词: 大型语言模型, 跨文化调查, 问卷预测试, ICTD

链接1

摘要: 为ICTD研究设计具有文化相关性的问卷具有挑战性，特别是在将调查适应非西方背景的人群时。之前的研究通过专家评审和试点研究来调整问卷，这些方法资源密集且耗时。为了解决这些挑战，我们提出使用大型语言模型（LLMs）来自动化跨文化环境下的问卷预测试过程。我们的研究使用LLMs将一项面向美国的气候意见调查适应为南非受众。然后，我们通过Prolific测试了适应后的问卷，邀请了116名南非参与者，要求他们对两种版本提供反馈。参与者认为LLM适应的问题略微比传统版本更受欢迎。我们的研究开启了关于LLMs在适应调查和促进跨文化问卷设计中的潜在角色的讨论。
总结: 该研究探索了使用大型语言模型自动化跨文化问卷预测试的可行性，发现LLMs在适应问卷方面具有潜在优势。
###【arXiv:2501.05985v1】
###【git】
###【期刊】
###【领域】信息与通信技术与发展 (ICTD), 跨文化问卷设计

[推荐指数：4]

=====

—第11篇----

=====

Hermit Kingdom Through the Lens of Multiple Perspectives: A Case Study of LLM Hallucination on North Korea

🔍 关键词: 大型语言模型, 幻觉, 朝鲜, 多语言模型, 信息误导

链接1

摘要: 大型语言模型（LLMs）的幻觉仍然是其安全部署的一个重大挑战，特别是因为其潜在传播错误信息的能力。现有的大多数解决方案通过侧重于将模型与可信来源对齐或改进模型传达其输出信心（或缺乏信心）的方式来应对这一挑战。尽管这些措施在大多数情况下可能是有效的，但在需要更微妙方法的场景中可能不足，尤其是在准确数据获取有限或确定可信来源具有挑战性的情况下。在本研究中，我们以朝鲜为案例研究对象——一个以可靠来源极度缺乏和耸人听闻的虚假信息盛行为特征的国家——探讨并评估了一些表现最好的多语言LLMs和特定语言模型在三种在地缘政治上具有重大利益的语言（英语、韩语和普通话）中生成有关朝鲜的信息。我们的发现揭示了显著差异，这表明模型和语言的选择可能导致对朝鲜的截然不同的理解，这具有重要意义，考虑到该国带来的全球安全挑战。
总结: 研究表明，多语言大型语言模型在不同语言下对朝鲜的理解存在显著差异，影响全球安全环境的认知。
###【arXiv编号】
arXiv:2501.05981v1
###【期刊】
无
###【领域】
计算机科学（自然语言处理）

[推荐指数：4]

该研究针对大型语言模型在缺乏可靠来源的高敏感性主题下的幻觉问题进行了深入分析，具有较高的创新性和应用价值，对理解和改进LLMs在复杂信息环境中的表现具有重要意义。

—第12篇----

=====

Model Inversion in Split Learning for Personalized LLMs: New Insights from Information Bottleneck Theory

🔍 关键词: 个人化大型语言模型, 分割学习, 模型反演攻击, 互信息熵, 隐私泄露

链接1

摘要: 个人化大型语言模型（LLMs）越来越普及，展示了如GPT-4等模型的强大能力。这一趋势也推动了在移动设备上部署LLMs的广泛研究。边缘-云部署的可行方法包括使用分割学习。然而，之前的研究在很大程度上忽视了从设备到服务器传输的中间表示所带来的隐私泄露问题。本研究首次在LLMs的分割学习框架中发现了模型反演攻击，强调了安全防御的必要性。我们首次引入互信息熵来理解基于Transformer的LLMs的信息传播，并评估了LLM模块的隐私攻击性能。针对表示比嵌入更稀疏且包含更少信息的问题，我们提出了一个两阶段攻击系统，第一部分将表示投影到嵌入空间，第二部分使用生成模型从这些嵌入中恢复文本。这种设计简化了复杂性，并在各种场景中实现了38%-75%的攻击成功率，较现有技术提升了60%以上。本研究全面强调了在边缘端部署个人化LLMs时潜在的隐私风险。
总结: 本文首次在分割学习框架下揭示了个人化大型语言模型的隐私风险，并提出了有效的模型反演攻击方法。

###【arXiv编号】2501.05965v1
###【领域】计算机科学，机器学习

[推荐指数：4]

本文在个人化大型语言模型的分割学习部署中首次系统性地分析了隐私泄露风险，并提出了创新的模型反演攻击方法，对保障边缘端LLMs的隐私安全具有重要意义。

—第13篇----

=====

On Large Language Models in Mission-Critical IT Governance: Are We Ready Yet?

🔍 关键词: cs.CR, cs.AI, cs.ET, cs.SE

链接

摘要: 关键基础设施的安全自计算机诞生以来一直是一个紧迫的问题，在当今网络战争时代变得更加关键。保护对于国家安全至关重要的任务关键系统（MCS）需要迅速而强大的治理，然而最近的事件显示，满足这些挑战的难度在不断增加。基于之前研究展示了生成型人工智能（GAI），如大型语言模型，在增强风险分析方面的潜力，我们旨在探索从业者对将GAI整合到IT MCS治理中的看法。我们的目标是为利益相关者，包括研究人员、从业者和政策制定者，提供可行的见解和建议。我们设计了一项调查，以收集在MCS背景下开发和实施安全解决方案的从业者的实际经验、担忧和期望。我们的发现强调，LLM在MCS治理中的安全使用需要跨学科合作。研究人员应专注于设计针对监管的模型并注重问责制；从业者强调数据保护和透明度，而政策制定者必须建立统一的AI框架和全球基准，以确保基于LLM的MCS治理的伦理和安全。
总结: 在任务关键的IT治理中安全整合大型语言模型需要跨学科合作，研究人员、从业者和政策制定者各司其职。

###【arXiv编号】2412.11698v2
###【git】
###【期刊】
###【领域】计算机科学

[推荐指数：4]

本文探讨了大型语言模型在任务关键IT治理中的应用，内容具有创新性和较高的实用性，为相关利益方提供了有价值的见解和建议。

—第14篇----

=====

MacST: 多口音语音合成通过文本音译进行口音转换

🔍 关键词: 语音转换, 口音转换, 多语言TTS, 文本音译

链接1

摘要: 在带口音的语音转换或口音转换中，我们寻求在保留说话者身份和语义内容的同时，将语音中的口音从一种转换为另一种。在本研究中，我们提出了一种通过文本音译为训练口音转换系统创建多口音语音样本的新方法，从而获得相同说话者的带口音语音样本对。我们首先使用大型语言模型（LLMs）生成音译文本，然后将其输入多语言TTS模型以合成带口音的英语语音。作为参考系统，我们在合成的平行语料库上构建了一个序列到序列模型用于口音转换。我们验证了所提出的方法对母语和非母语英语说话者的有效性。主观和客观评估进一步验证了我们数据集在口音转换研究中的有效性。总结: 本文提出了一种通过文本音译生成多口音语音样本的新方法，成功用于口音转换系统的训练和验证。

###【arXiv编号】2409.09352v2
###【git】
###【期刊】
###【领域】计算机科学、电子工程、语音合成、口音转换

[推荐指数：4]

该研究在口音转换领域提出了创新的方法，利用文本音译和多语言TTS模型生成多口音语音样本，实验验证充分，具有较高的应用价值和研究潜力。

—第15篇----

=====

Can Many-Shot In-Context Learning Help LLMs as Evaluators? A Preliminary Empirical Study

🔍 关键词: cs.CL

PDF链接

摘要: 利用大型语言模型（LLMs）作为评估者来评估LLMs的性能已引起关注。然而，这种评估方法受到LLMs内在偏见的影响，导致LLMs评估结果的准确性和可靠性受到质疑。为了解决这个问题，我们提出并研究了两种多样本上下文学习（ICL）提示模板，以帮助LLM评估者减轻潜在偏见：带参考的多样本（MSwR）和不带参考的多样本（MSoR）。具体来说，前者利用带有模型生成的评估理由的上下文示例作为参考，而后者则不包含这些参考。通过这些提示设计，我们研究了增加上下文示例数量对评估结果的一致性和质量的影响。实验结果表明，先进的LLMs，如GPT-4o，在多样本情况下比在零样本和少样本情况下表现更好。此外，当在多样本情况下使用GPT-4o作为评估者时，采用MSwR作为提示模板的表现优于MSoR。
总结: 本研究展示了多样本上下文学习提示模板在减轻大型语言模型评估偏见和提升评估质量方面的有效性。

###【arXiv编号】2406.11629v5
###【git】
###【期刊】
###【领域】
计算机科学-计算语言学

[推荐指数：4]

=====

—第16篇----

=====

LitSumm: Large language models for literature summarisation of non-coding RNAs

🔍 关键词: q-bio.GN, cs.AI

链接1

摘要: 生命科学文献的整理是一个日益增长的挑战。出版速度的持续增加，加上全球相对固定的策展人数量，对生物医学知识库的开发者提出了重大挑战。很少有知识库能够扩展到整个相关文献，所有知识库都必须优先考虑他们的努力。
在本研究中，我们通过使用大型语言模型（LLMs）生成非编码RNA的文献摘要，迈出了缓解RNA科学策展人时间不足的第一步。我们展示了通过商业LLM和一系列提示和检查，可以自动从文献中生成高质量、事实准确的摘要及准确引用。对部分摘要进行了人工评估，大多数被评为极高质量。
我们将我们的工具应用于超过4600个ncRNAs，并通过RNAcentral资源提供生成的摘要。我们得出结论，使用当前一代LLMs进行自动文献摘要是可行的，前提是应用了谨慎的提示和自动检查。

总结: 本文展示了利用大型语言模型自动生成高质量非编码RNA文献摘要的可行性，并成功应用于RNAcentral资源中。

###【arXiv:2311.03056v4】

###【期刊】

###【领域】人工智能、计算机科学、生命科学

[推荐指数：4]

=====

—第17篇----

=====

LLMs 重现性少数群体的刻板印象

🔍 关键词: 大型语言模型, 性别刻板印象, 性少数群体, 自然语言处理, 偏见

PDF链接

摘要: 大量研究发现自然语言处理系统中存在显著的性别偏见。这些研究大多采取二元、本质主义的性别观，仅限于“男性”和“女性”两个类别，将性别与性取向混淆，并忽视了不同的性取向身份。但性别和性取向是一个光谱，因此本文研究了大型语言模型（LLMs）对超越二元类别的性少数群体的偏见。基于广泛使用的心理学框架——刻板印象内容模型，我们证明了关于社会认知的英语调查问题在LLMs中引发了比人类更为消极的性少数群体刻板印象。随后，我们将这一框架扩展到更现实的用例：文本生成。我们的分析显示，在这一情境下，LLMs生成了性少数群体的刻板代表性描述，这引发了其在创意写作这一广泛推广的用例中放大代表性伤害的担忧。
总结: 本文揭示了大型语言模型在处理性别和性少数群体时存在的刻板印象偏见，强调其在文本生成中的潜在代表性伤害。

###【arXiv编号】2501.05926v1
###【git】
###【期刊】
###【领域】自然语言处理, 人工智能偏见, 社会影响

[推荐指数：4]

本研究扩展了对大型语言模型在性别和性取向偏见方面的理解，采用更广泛的性别和性少数群体视角，并分析了其在文本生成中的影响，具有较高的创新性和实用性，对自然语言处理系统的公平性研究具有重要意义。

—第18篇----

=====

Navigating Tomorrow: Reliably Assessing Large Language Models Performance on Future Event Prediction

🔍 关键词: 未来事件预测, 大型语言模型, 预测建模

链接1

摘要: 预测未来事件是一项重要的活动，具有跨多个领域和应用。例如，预见股市趋势、自然灾害、商业发展或政治事件的能力可以促进早期预防措施并发现新的机会。已经提出了多种多样的计算方法来尝试未来预测，包括预测分析、时间序列预测和模拟。本研究评估了几种大型语言模型（LLMs）在支持未来预测任务中的表现，这是一个尚未充分探索的领域。我们在三个情境下评估模型：肯定与可能性提问、推理和反事实分析。为此，我们通过根据实体类型及其受欢迎程度寻找并分类新闻文章来创建一个数据集。我们收集了模型训练截止日期前后的新闻文章，以便彻底测试和比较模型表现。我们的研究突出了LLMs在预测建模中的潜力和局限性，为未来的改进提供了基础。
总结: 本研究评估了大型语言模型在未来事件预测任务中的性能，揭示了其潜力与局限性。
###【2501.05925v1】
###【期刊】无
###【领域】计算机科学 – 计算语言学, 信息检索

[推荐指数：4]

=====

—第19篇----

=====

Prompt engineering and its implications on the energy consumption of Large Language Models

🔍 关键词: Prompt engineering, energy consumption, large language models, Llama 3, CodeXGLUE

链接1

摘要: 降低基于AI的软件系统的环境影响已变得至关重要。软件工程中对大型语言模型（LLM）的密集使用在计算资源、数据中心和碳排放方面带来了严重挑战。本文研究了提示工程技术（PET）如何影响代码生成任务中Llama 3模型的碳排放。我们在CodeXGLUE基准上进行了实验，评估了生成代码的能耗和准确性，使用了隔离的测试环境。我们的初步结果表明，通过使用特定的标签来区分不同的提示部分，可以降低LLM的能耗。尽管需要更深入的评估来确认我们的发现，这项工作表明，在推理阶段使用提示工程可以在不影响性能的情况下减少LLM的能耗，为进一步研究铺平了道路。
总结: 研究表明，提示工程技术能够在不降低性能的情况下减少大型语言模型在推理阶段的能耗，从而降低AI系统的环境影响。
###【arXiv:2501.05899v1】
###【git】
###【期刊】
###【领域】
计算机科学、软件工程、人工智能可持续性

[推荐指数：4]

该研究在探讨通过提示工程技术降低大型语言模型能耗方面具有创新性和实用性，有助于减少AI系统的环境影响，具有较高的学术和应用价值。

—第20篇----

=====

Affordably Fine-tuned LLMs Provide Better Answers to Course-specific MCQs

🔍 关键词: 计算机科学, 人工智能

链接1

摘要: 在教育领域，大型语言模型（LLMs）生成类似人类文本的能力激发了研究如何提高学习和教学效率的工作。我们通过调查LLMs在硬件限制和精炼技术方面回答多项选择题（MCQs）的表现，研究了这些模型对教育工作者和学生的可负担性。我们使用通用预训练LLMs（LLaMA-2的7B、13B和70B变体）回答了一门编程语言（PL）课程的162个本科水平的MCQs——该MCQ数据集是本研究的贡献，我们公开提供。具体而言，我们分析了不同因素，如使用现成的教材部分进行微调和量化（以减少资源使用）如何改变答案的准确性。主要结论是，基于教材的较小微调模型优于通用较大的模型（其预训练需要显著资源），使得LLMs在回答MCQs时在资源和材料上更具可负担性。
总结: 研究表明，基于教材微调的较小大型语言模型在回答编程语言课程的多项选择题时性能优于更大的通用模型，具有更高的资源和材料可负担性。
###【arXiv编号】2501.05891v1
###【git】
###【期刊】
###【领域】教育技术, 人工智能在教育中的应用

[推荐指数：4]

该研究通过实验证明了较小规模的微调LLMs在教育评估中的高效性和经济性，具有较高的创新性和实际应用价值。

—第21篇----

=====

Text-to-Edit: Controllable End-to-End Video Ad Creation via Multimodal LLMs

🔍 关键词: 多模态大语言模型, 视频编辑, 端到端框架, 文本编辑机制

PDF链接

摘要: 短视频内容的指数级增长激发了对高效自动化视频编辑解决方案的迫切需求，面临的挑战包括理解视频内容并根据用户需求定制编辑。针对这一需求，我们提出了一种创新的端到端基础框架，实现了对最终视频内容编辑的精确控制。利用多模态大语言模型（MLLMs）的灵活性和泛化能力，我们定义了高效视频创作的明确输入-输出映射。为了增强模型在处理和理解视频内容方面的能力，我们引入了更高帧率与慢-快处理技术的战略组合，显著提高了对视频的时间和空间信息的提取与理解。此外，我们引入了一种文本编辑机制，允许用户通过文本输入实现期望的视频效果，从而提高了编辑视频的质量和可控性。通过全面的实验，我们的方法不仅在广告数据集上展示了显著的有效性，还在公共数据集上得出了普遍适用的结论。
总结: 提出了一种基于多模态大语言模型的端到端视频编辑框架，实现了高效且可控的视频广告创建。
###【arXiv编号】2501.05884v1
###【git】: 无
###【期刊】: 无
###【领域】: 计算机视觉

[推荐指数：4]

该论文利用多模态大语言模型实现了视频编辑的高效自动化和可控性，特别适用于广告创作，展示了较高的创新性和实用性。

—第22篇----

=====

ConSim: Measuring Concept-Based Explanations’ Effectiveness with Automated Simulatability

🔍 关键词: cs.CL

PDF Link

摘要: 概念基础的解释通过将复杂的模型计算映射到人类可理解的概念来工作。评估此类解释非常困难，因为这不仅包括可能概念空间的质量，还包括所选择的概念向用户传达的有效性。现有的评估指标通常只关注前者，忽略了后者。我们引入了一种通过自动模拟能力（模拟器根据所提供的解释预测被解释模型的输出的能力）来衡量概念解释的有效性的评估框架。这种方法在端到端评估中同时考虑了概念空间及其解释。人类研究对于模拟能力的评估是公认的难以实施的，特别是在广泛、全面的经验评估规模上（这是本文的主题）。我们建议使用大语言模型（LLM）作为模拟器来近似评估，并报告各种分析以使这种近似可靠。我们的方法允许在各种模型和数据集上进行可扩展和一致的评估。我们使用该框架报告了全面的经验评估，并显示LLM提供了一致的解释方法排名。代码可在 GitHub 获取。
总结: 本文提出了一种基于自动模拟能力的大规模概念解释评估框架，并证明了使用大语言模型进行近似评估的一致性。

###【arXiv编号】2501.05855v1
###【git】https://github.com/AnonymousConSim/ConSim
###【期刊】
###【领域】计算机科学，解释性人工智能

[推荐指数：5]

=====

—第23篇----

=====

VLM-driven Behavior Tree for Context-aware Task Planning

🔍 关键词: cs.RO, cs.AI, cs.CV, cs.HC

链接1

摘要: 近年来，大型语言模型（LLMs）在生成行为树（BTs）方面受到机器人社区的关注，但仍处于初级发展阶段。本文提出了一个新颖的框架，利用视觉语言模型（VLMs）交互式生成和编辑BTs，以应对视觉条件，从而在视觉复杂的环境中实现上下文感知的机器人操作。我们的方法的一个关键特征在于通过自我提示的视觉条件进行条件控制。具体而言，VLM生成带有视觉条件节点的BT，条件以自由形式文本表达。另一个VLM过程将文本集成到其提示中，并在机器人执行期间根据真实世界的图像评估这些条件。我们在真实世界的咖啡馆场景中验证了我们的框架，展示了其可行性和局限性。

总结: 本文提出了一种利用视觉语言模型生成和编辑行为树，以实现机器人在复杂视觉环境中上下文感知任务规划的框架，并在实际场景中进行了验证。

###【arXiv编号】2501.03968v2

###【git】

###【期刊】

###【领域】机器人技术、人工智能、计算机视觉、人机交互

[推荐指数：4]

该研究创新性地将视觉语言模型应用于行为树的生成与编辑，增强了机器人在复杂视觉环境中的任务规划能力，具有较高的实用性，尽管在实际应用中仍存在一定的局限性。

—第24篇----

Long Story Short: Story-level Video Understanding from 20K Short Films

🔍 关键词: cs.CV, cs.AI, cs.CL

PDF链接

摘要: 最近在视觉语言模型方面的发展显著推动了视频理解。然而，现有的数据集和任务存在显著的局限性。大多数数据集仅限于具有有限事件和狭窄叙事的短视频。例如，包含教学和自我视角视频的数据集通常描绘一个人在一个场景中的活动。尽管现有的电影数据集提供了更丰富的内容，但它们往往局限于短期任务，缺乏公开可用的视频，且由于在大语言模型预训练中使用字幕和其他关于商业电影的信息，经常遇到数据泄漏问题。为了解决上述限制，我们提出了Short-Films 20K (SF20K)，这是最大的公开可用电影数据集。SF20K由20,143部业余影片组成，并以多项选择和开放式问题回答的形式提供长期视频任务。我们对SF20K的广泛分析显示了最小的数据泄漏、强调了长期推理的必要性，并展示了最近视觉语言模型的强大性能。最后，我们显示，基于SF20K训练集的指令调优显著提高了模型性能，为长期视频理解的未来进展铺平了道路。
总结: 本文通过构建规模最大的公开电影数据集SF20K，显著提升了长期视频理解的研究能力。

###【arXiv编号】: 2406.10221v2
###【git】: 无
###【期刊】: 无
###【领域】: 计算机视觉、人工智能、计算语言学

[推荐指数：4]

该研究提出了一个大规模且公开的电影数据集SF20K，有效解决了现有视频理解数据集的局限性，促进了长期视频理解和视觉语言模型的发展，具有较高的创新性和实用价值。

—第25篇----

=====

Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph

🔍 关键词: cs.CL, cs.LG

PDF链接

摘要: 大型语言模型（LLMs）的快速普及促使研究人员寻找有效且高效的方法来应对LLM的幻觉和低质量输出。不确定性量化（UQ）是机器学习应用中处理这些挑战的关键要素。然而，迄今为止，针对LLMs的UQ研究在技术和评估方法上较为零散。在本研究中，我们通过引入一个新的基准来解决这一问题，该基准实现了多个最先进的UQ基线，并为各种文本生成任务的新UQ技术的可控且一致的评估提供了环境。我们的基准还支持评估置信度归一化方法在提供可解释分数方面的能力。使用我们的基准，我们对十一项任务中的UQ和归一化技术进行了大规模的实证研究，确定了最有效的方法。

总结: 本文提出了一个针对大型语言模型不确定性量化方法的综合基准，并通过实证研究评估了多种技术的有效性。

###【arXiv编号】2406.15627v3
###【git】https://github.com/IINemo/lm-polygraph
###【期刊】
###【领域】计算机科学 - 自然语言处理，机器学习

[推荐指数：4]

该研究系统性地评估了大型语言模型的不确定性量化方法，提供了实用且创新的基准工具，有助于提升LLMs的可靠性和输出质量。

—第26篇----

=====

MoColl: 基于代理的特定与通用模型协作用于图像说明

🔍 关键词: 图像说明, 代理模型, 视觉问答, 大型语言模型

链接1

摘要: 图像说明是计算机视觉与自然语言处理交叉的关键任务，在各个领域有广泛的应用。对于诊断报告生成等复杂任务，深度学习模型不仅需要领域特定的图像说明数据集，还需要结合相关的通用知识以提供上下文准确性。现有方法存在固有限制：专门模型在捕捉领域特定细节方面表现出色，但缺乏泛化能力，而基于大型语言模型（LLM）的视觉-语言模型（VLM）则利用了通用知识，但在领域特定适应方面存在困难。为了解决这些限制，本文提出了一种新颖的基于代理的模型协作框架，称为MoColl，旨在有效整合领域特定和通用知识。具体而言，我们的方法是将复杂的图像说明任务分解为一系列相互连接的问答子任务。采用可训练的视觉问答（VQA）模型作为专门工具，专注于基于图像内容的领域特定视觉分析，回答任务特定的问题。同时，基于LLM的代理利用通用知识制定这些问题，并将生成的问答对综合成连贯的说明。除了利用VQA模型的作用外，代理还进一步指导其训练，以增强其领域特定能力。在放射学报告生成的实验结果验证了所提出框架的有效性，展示了生成报告质量的显著提升。

总结: 提出了MoColl框架，通过代理协作有效整合领域特定与通用知识，显著提升了图像说明任务的生成质量。

###【arXiv:2501.01834v2】

###【git】：无

###【期刊】：无

###【领域】：计算机视觉，人工智能

[推荐指数：4]

=====

—第27篇----

=====

SafetyPrompts: a Systematic Review of Open Datasets for Evaluating and Improving Large Language Model Safety

🔍 关键词: 计算机科学, 自然语言处理, 人工智能

PDF链接

摘要: 过去两年中，对于大型语言模型（LLMs）安全性的关注迅速增长。研究人员和从业者通过创建大量数据集来评估和改进LLM的安全性，然而这些工作大多是并行进行，且目的各不相同，从减轻偏见和有毒内容生成等短期风险到评估长期灾难性风险潜力。这使得研究人员和从业者难以找到最相关的数据集以适用于他们的使用案例，并识别未来工作可能填补的数据集覆盖的缺口。为了解决这些问题，我们进行了首个系统性的开放数据集审查，用于评估和改进LLM安全性。我们回顾了144个数据集，这些数据集是通过一个逐步的、社区驱动的过程在几个月内识别出来的。我们强调了模式和趋势，例如全面合成数据集的趋势，以及数据集覆盖的缺口，例如明显缺乏非英语和自然化数据集。我们还考察了LLM安全数据集在实践中的使用情况——在LLM发布出版物和流行的LLM基准测试中——发现当前的评估实践高度特异，仅使用了可用数据集的一小部分。我们的贡献基于SafetyPrompts.com，这是一个用于LLM安全的开放数据集的活目录，我们计划随着LLM安全领域的发展持续更新。

总结: 本文系统审查了用于评估和改进大型语言模型安全性的开放数据集，揭示了现有数据集的趋势与不足，并提供了一个持续更新的资源目录。

###【arXiv编号】2404.05399v2

###【git】

###【期刊】

###【领域】计算机科学, 人工智能, 语言模型安全

[推荐指数：4]

该研究全面梳理了LLM安全领域的开放数据集，揭示了重要的趋势和研究空白，同时提供了持续更新的资源，有助于研究人员和从业者有效选择和开发数据集，具有较高的实用性和研究价值。

—第28篇----

=====

Understanding Impact of Human Feedback via Influence Functions

🔍 关键词: 强化学习, 人类反馈, 影响函数, 大型语言模型, 奖励模型

链接1

摘要: 在基于人类反馈的强化学习（RLHF）中，学习适当的奖励模型以使大型语言模型（LLMs）与人类意图对齐至关重要。然而，人类反馈通常可能是噪声、不一致或有偏见的，特别是在评估复杂响应时。这种反馈可能导致奖励信号不对齐，可能在RLHF过程中引发意外的副作用。为了解决这些挑战，我们探索了使用影响函数来衡量人类反馈对奖励模型性能的影响。我们提出了一种计算效率高的近似方法，使影响函数能够应用于基于LLM的奖励模型和大规模偏好数据集。在我们的实验中，我们展示了影响函数的两个关键应用：（1）检测人类反馈数据集中常见的标注者偏见形式；（2）指导标注者完善其策略，以更紧密地与专家反馈对齐。通过量化人类反馈对奖励模型的影响，我们认为影响函数可以增强反馈的可解释性，并为RLHF中的可扩展监督做出贡献，帮助标注者提供更准确和一致的反馈。源代码可在 https://github.com/mintaywon/IF_RLHF 获得。
总结: 该研究利用影响函数提升了基于人类反馈的强化学习过程中的奖励模型对齐效果，并提供了检测和纠正反馈中偏见的方法。

###【arXiv编号】2501.05790v1
###【git】https://github.com/mintaywon/IF_RLHF
###【期刊】暂无
###【领域】计算机科学 - 人工智能, 人机交互, 机器学习

[推荐指数：4]

该文章在基于人类反馈的强化学习中引入影响函数，提供了一种有效的方法来检测和纠正数据中的偏见，具有较高的创新性和实用性，适用于提升大型语言模型的对齐效果。

—第29篇----

=====

Controlling Large Language Models Through Concept Activation Vectors

🔍 关键词: 大型语言模型，概念激活向量，输出控制，伦理原则，定制化

链接1

摘要: 随着大型语言模型（LLMs）在各个领域的广泛部署，控制其生成的输出变得更加关键。这种控制涉及将LLMs的输出与人类的价值观和伦理原则保持一致，或为个别用户定制特定主题或风格的LLMs。现有的控制生成方法要么需要大量的计算资源和广泛的试验错误，要么提供的是粗粒度的控制。在本文中，我们提出了基于概念激活向量（GCAV）的生成控制框架，这是一种轻量级的模型控制框架，确保在不需要资源密集型微调的情况下进行准确控制。具体而言，GCAV首先为指定的要控制的概念（例如毒性）训练一个概念激活向量。在推理过程中，GCAV通过从激活层中移除毒性概念向量来引导LLMs中的概念向量。来自不同视角的控制实验，包括毒性降低、情感控制、语言风格和主题控制，表明我们的框架具有粒度控制的顶尖性能，允许对个别样本的引导层和引导幅度进行细粒度调整。
总结: GCAV框架实现了对大型语言模型输出的精细化控制，具有高效性和准确性。
###【arXiv编号】2501.05764v1
###【git】
###【期刊】
###【领域】计算机科学 - 计算与语言

[推荐指数：4]

该研究提出了一种高效且精确的方式来控制大型语言模型的输出，具有创新性和广泛的应用潜力，但在某些复杂控制场景中可能需要进一步验证。

—第30篇----

=====

TabuLa: Harnessing Language Models for Tabular Data Synthesis

🔍 关键词: cs.LG

PDF链接

摘要: 表格数据合成对于解决依赖表格数据的行业中的隐私和安全问题至关重要。虽然最近的进展采用大型语言模型（LLMs）进行现实表格数据生成，但其长时间的训练和有限的可重用性阻碍了实际应用。在本文中，我们提出了Tabula，一种利用LLM结构的表格数据合成器。与依赖于预训练LLM的现有最先进的LLM基表格数据合成器不同，Tabula抛弃了最初为自然语言任务设计的预训练权重，专注于针对表格数据的定制方法。此外，Tabula引入了一种令牌序列压缩策略，显著减少了训练时间同时保持数据质量，以及一种新颖的令牌填充方法，改善了训练批次之间的序列对齐。在六个数据集上的实验表明，Tabula在合成数据效用方面优于当前的最先进方法。此外，结果表明，训练于表格数据集上的Tabula模型有效地作为合成新表格数据集的基础模型。此外，提出的填充方法优于传统的左填充和右填充策略。最后，结果强调，Tabula相比最先进的LLM方法平均每个时代的训练时间减少了46.2%，同时实现了更高的数据效用。我们的代码可在 https://github.com/zhao-zilong/Tabula 获取。
总结: Tabula通过定制的语言模型结构和创新的训练策略，显著提升了表格数据合成的效率和质量。

【arXiv编号】2310.12746v2

【git】https://github.com/zhao-zilong/Tabula

【期刊】未指定

【领域】计算机科学，机器学习

[推荐指数：4]

Tabula在表格数据合成领域展示了显著的创新性和实用性，通过减少训练时间和提高数据质量，为相关应用提供了有效的解决方案。

—第31篇----

=====

Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models

🔍 关键词: cs.AI, cs.CL

PDF链接

摘要: 近年来，大型语言模型（LLMs）的进步在需要多步骤推理方法如树搜索以探索多样的推理路径的各种复杂任务中显示出显著的潜力。然而，现有方法常常面临计算效率低下和冗余的问题。首先，它们忽视了任务难度的多样性，导致即使对于简单任务也进行不必要的广泛搜索。其次，它们忽视了推理路径的语义，导致对语义相同的路径进行冗余的探索。为了解决这些限制，我们提出了语义探索与自适应门控（SEAG），一种计算效率高的方法。SEAG采用自适应门控机制，根据先前简单推理方法的答案置信度动态决定是否进行树搜索。此外，其基于树的探索整合了语义相同的推理步骤，减少了冗余的探索，同时维持甚至提高了准确性。我们广泛的实验表明，SEAG在复杂推理基准（包括 GSM8K 和 ARC）上相较于现有基于树搜索的方法平均显著提高了4.3％的准确性，同时仅需31％的计算成本，适用于如 Llama2、Llama3 和 Mistral 等多种语言模型。
总结: 提出了SEAG方法，通过自适应门控机制提升复杂推理任务的效率和准确性，同时显著降低计算成本。
###【arXiv编号】2501.05752v1
###【领域】计算机科学 – 人工智能，计算语言学

[推荐指数：4]

=====

—第32篇----

=====

BaThe: Defense against the Jailbreak Attack in Multimodal Large Language Models by Treating Harmful Instruction as Backdoor Trigger

🔍 关键词: 越狱攻击，多模态大型语言模型，后门防御，虚拟拒绝提示

链接1

摘要: 多模态大型语言模型（MLLMs）在各种多模态任务中表现出令人印象深刻的性能。另一方面，额外的图像模态的集成可能允许恶意用户在图像中注入有害内容以进行越狱。与基于文本的LLMs不同，后者对手需要选择离散的标记并使用特定算法来隐藏其恶意意图，图像信号的连续性质为对手注入有害意图提供了直接的机会。在本研究中，我们提出了一种简单而有效的越狱防御机制BaThe（Backdoor Trigger Shield）。我们的工作受到近期关于越狱后门攻击和生成型语言模型中的虚拟提示后门攻击的研究的启发。越狱后门攻击使用有害指令与手工制作的字符串作为触发器，使被后门植入的模型生成被禁止的响应。我们假设有害指令可以作为触发器，如果我们改为设置拒绝响应作为触发后响应，那么被后门植入的模型就可以防御越狱攻击。我们通过利用类似于虚拟提示后门攻击的虚拟拒绝提示来实现这一点。我们将虚拟拒绝提示嵌入到软文本嵌入中，这被称为“楔子”。我们的全面实验表明，BaThe有效减轻了各种类型的越狱攻击，并且能够适应防御未见过的攻击，对MLLMs的性能影响最小。

总结: BaThe是一种通过使用有害指令作为后门触发器的简单且有效的越狱防御机制，有效减轻了多种越狱攻击，对多模态大型语言模型的性能影响极小。

###【arXiv编号】 arXiv:2408.09093v2

###【git】无

###【期刊】无

###【领域】计算机科学 – 密码学与安全（cs.CR）

[推荐指数：4]

BaThe提出了一种创新的防御机制，通过使用虚拟拒绝提示有效防御多模态大型语言模型的越狱攻击，同时对模型性能影响较小，具有较高的实用价值。

—第33篇----

=====

Enabling Scalable Oversight via Self-Evolving Critic

🔍 关键词: 大型语言模型, 自我进化, 批评机制, 可扩展监督

链接1

摘要: 尽管大型语言模型（LLMs）表现出色，但其发展面临着可扩展监督的关键挑战：为那些人类评估困难或LLMs优于人类的任务提供有效的反馈。尽管使用LLMs进行批评的兴趣日益增长，目前的方法仍然依赖于人工注释或更强大的模型，未解决在无需外部监督的情况下增强批评能力的问题。我们引入了SCRIT（自进化批评家），这是一个能够实现批评能力真正自进化的框架。在技术上，SCRIT通过在合成数据上进行训练来自我改进，这些合成数据由基于对比的方法的自我批评家生成，使用参考解决方案进行逐步批评，以及通过纠正结果确保批评质量的自我验证机制生成。使用Qwen2.5-72B-Instruct这一最强大的LLMs之一实现的SCRIT在批评纠正和错误识别基准上实现了高达10.3%的改进。我们的分析表明，SCRIT的性能随着数据和模型规模的增加而正向扩展，优于其他方法，并且其自我验证组件起到了关键作用。
总结: SCRIT框架通过自我进化的批评机制显著提升了大型语言模型的可扩展监督能力。
###【arXiv编号】2501.05727v1
###【git】
###【期刊】
###【领域】计算语言学, 人工智能, 机器学习

[推荐指数：5]

SCRIT通过创新的自我进化批评框架解决了大型语言模型在可扩展监督方面的关键挑战，并在多个基准测试中表现出显著的性能提升，展示了其高度的应用潜力和实用价值。

—第34篇----

=====

I Can’t Share Code, but I need Translation – An Empirical Study on Code Translation through Federated LLM

🔍 关键词: 代码翻译，联邦学习，大型语言模型，软件工程

链接1

摘要: 由于技术和项目需求的快速发展，组织需要将其软件项目中的代码库升级到新的编程语言版本，甚至完全翻译到新的编程语言。然而，代码翻译是资源密集型的，需要源语言和目标语言的专业知识。虽然研究人员在自动化翻译传统语言和现代语言之间取得了进展，最近的工作越来越多地转向预训练的大型语言模型（LLMs）以高效地进行翻译。鉴于代码的专有性质，组织更倾向于在本地微调LLMs，而不是依赖外部API。这是首批提出基于联邦LLM的代码翻译方法的实证研究之一。所提出的方法使客户端能够在不共享敏感数据的情况下共同训练代码翻译器。本研究表明，与单独客户端模型相比，参与者能够协作开发一个FedLLM用于高效的代码翻译（特别是C#到Java及其反向翻译），在CodeLLaMA的CodeBLEU评分上有超过40%的提升。我们的发现表明，FedLLM为代码翻译提供了一种协作方法，并可能成为该领域未来研究的有前景的方向。
总结: 本研究提出并验证了一种基于联邦大型语言模型的代码翻译方法，显著提升了翻译效果，为未来代码翻译研究提供了协作性新方向。

###【arXiv编号】2501.05724v1
###【git】暂无
###【期刊】arXiv预印本
###【领域】软件工程，代码翻译，联邦学习

[推荐指数：4]

该研究通过联邦学习方法优化大型语言模型在代码翻译中的应用，显著提升了翻译效果，同时保护了敏感数据，具有较高的创新性和实用性。

—第35篇----

=====

How to Enable Effective Cooperation Between Humans and NLP Models: A Survey of Principles, Formalizations, and Beyond

🔍 关键词: cs.CL, cs.AI, cs.HC

链接1

摘要: 随着大型语言模型（LLMs）的发展，智能模型已从简单的工具演变为具有自我目标和合作策略的自主代理。这一演变催生了NLP中的一种新范式，即人机模型合作，近年来在众多NLP任务中取得了显著进展。在本文中，我们迈出第一步，对人机模型合作进行了详尽的综述，探讨了其原则、形式化以及开放性挑战。具体而言，我们引入了一个新的分类法，为总结现有方法提供了统一的视角。同时，我们讨论了潜在的前沿领域及其相应的挑战。我们认为我们的工作是一个入门点，为该领域更具突破性的研究铺平了道路。总结: 该研究综述了人机模型合作的原则、形式化及挑战，并提出了新的分类法，为未来相关研究提供了基础。

###【arXiv:2501.05714v1】

###【git】

###【期刊】

###【领域】
计算语言学、人工智能、人机交互

[推荐指数：4]

此文全面综述了人机模型合作的原则与挑战，并提出了新的分类法，为相关领域研究提供了有价值的指导。

—第36篇----

=====

Multi-Step Reasoning in Korean and the Emergent Mirage

🔍 关键词: 多步推理，韩语，常识推理，大型语言模型，文化特定背景

链接1

摘要: 我们介绍了HRMCR（HAE-RAE多步常识推理），该基准旨在评估大型语言模型在文化特定的背景下进行多步推理的能力，重点关注韩国语。问题通过模板和算法自动生成，要求大型语言模型在连续的推理步骤中整合韩国的文化知识。与先前关于出现能力的观察一致，我们的实验表明，训练FLOPs低于(2 \cdot 10^{25})的模型在解决任何问题上表现近乎为零。在这一阈值以上，性能有显著提升。最先进的模型（例如O1）仍然得分不到50%，强调了我们任务的难度。值得注意的是，逐步分析表明，观察到的出现行为可能源于多步骤的累积错误，而不反映真正的新能力。我们公开发布了这一基准，并承诺定期更新数据集以防止污染。
总结: 本文提出了一个评估大型语言模型在韩语文化背景下多步推理能力的基准测试，揭示了当前模型在这一任务上的显著限制。
###【arXiv编号】2501.05712v1
###【git】
###【期刊】
###【领域】计算机科学 – 计算语言学

—第1篇----

Supervision policies can shape long-term risk management in general-purpose AI models

🔍 关键词: 通用型人工智能，风险管理，监督政策，模拟框架

[推荐指数：4]

推荐理由

该研究提出了一个用于评估AI风险管理监督政策的模拟框架，并通过真实数据验证，具有较高的创新性和实际应用价值，有助于指导AI风险监督实体优化其策略。

—第2篇----

Contextual ASR Error Handling with LLMs Augmentation for Goal-Oriented Conversational AI

🔍 关键词: 自动语音识别, 大型语言模型, 目标导向对话, 错误处理

[推荐指数：4]

推荐理由

该研究提出了创新的上下文增强方法，利用大型语言模型显著提高ASR系统在目标导向对话中的校正性能，具有较高的实用价值，尽管在创新性上还有进一步提升空间。

—第3篇----

LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs

🔍 关键词: 大型语言模型, 视觉推理, 多步骤推理, 基准测试, 模型训练

[推荐指数：4]

推荐理由

该研究在视觉推理的基准测试、评估指标和模型训练方面具有创新性贡献，实验结果显示模型性能优越，具备较高的实用性。

—第4篇----

S2-Attention: Hardware-Aware Context Sharding Among Attention Heads

🔍 关键词: 稀疏注意力, FLOPs, FlashAttention, 大型语言模型, Triton库, 并行化, 内存IO优化

[推荐指数：5]

推荐理由

S2-Attention在稀疏注意力优化方面具有显著的创新性和实用性，通过硬件感知的优化实现了极大的运行速度提升，同时保持了模型的高性能，适用于当前大型语言模型的高效训练和推理，是该领域的重要进展。

—第5篇----

From Conversation to Automation: Leveraging Large Language Models to Analyze Strategies in Problem Solving Therapy

🔍 关键词: Problem-solving therapy, Large Language Models, GPT-4o, Therapeutic Interventions, Automation

[推荐指数：4]

推荐理由

本研究在将大型语言模型应用于心理健康治疗自动化方面具有创新性和实用性，提供了提升心理健康干预效率和个性化的有效工具。

—第6篇----

LUMIA: Linear probing for Unimodal and MultiModal Membership Inference Attacks leveraging internal LLM states

🔍 关键词: 大型语言模型, 线性探针, 成员推断攻击, 多模态

[推荐指数：4]

推荐理由

LUMIA在检测成员推断攻击方面展现出显著的创新性和实用性，尤其在多模态模型中的表现卓越，对提升大型语言模型的安全性具有重要意义。

—第7篇----

“愚蠢的机器人，我想与真人对话！” 面向任务的对话系统中的用户挫败感检测

🔍 关键词: 用户挫败感检测, 任务导向对话系统, 情感分析, 对话中断检测, 大规模语言模型

[推荐指数：4]

推荐理由

=====

—第8篇----

Are We Done with MMLU?

🔍 关键词: 自然语言处理, 人工智能, 语言理解

[推荐指数：4]

推荐理由

=====

—第9篇----

Addressing speaker gender bias in large scale speech translation systems

🔍 关键词: 说话人性别偏见, 语音翻译系统, 大型语言模型, 模型微调

[推荐指数：4]

推荐理由

该研究提出了一种创新且高效的方法，通过大型语言模型和模型微调，显著减少了语音翻译系统中的性别偏见，具有较高的实用性和研究价值。

—第10篇----

Exploring LLMs for Automated Pre-Testing of Cross-Cultural Surveys

🔍 关键词: 大型语言模型, 跨文化调查, 问卷预测试, ICTD

[推荐指数：4]

推荐理由

=====

—第11篇----

Hermit Kingdom Through the Lens of Multiple Perspectives: A Case Study of LLM Hallucination on North Korea

🔍 关键词: 大型语言模型, 幻觉, 朝鲜, 多语言模型, 信息误导

[推荐指数：4]

推荐理由

该研究针对大型语言模型在缺乏可靠来源的高敏感性主题下的幻觉问题进行了深入分析，具有较高的创新性和应用价值，对理解和改进LLMs在复杂信息环境中的表现具有重要意义。

—第12篇----

Model Inversion in Split Learning for Personalized LLMs: New Insights from Information Bottleneck Theory

🔍 关键词: 个人化大型语言模型, 分割学习, 模型反演攻击, 互信息熵, 隐私泄露

[推荐指数：4]

推荐理由

本文在个人化大型语言模型的分割学习部署中首次系统性地分析了隐私泄露风险，并提出了创新的模型反演攻击方法，对保障边缘端LLMs的隐私安全具有重要意义。

—第13篇----

On Large Language Models in Mission-Critical IT Governance: Are We Ready Yet?

🔍 关键词: cs.CR, cs.AI, cs.ET, cs.SE

[推荐指数：4]

推荐理由

本文探讨了大型语言模型在任务关键IT治理中的应用，内容具有创新性和较高的实用性，为相关利益方提供了有价值的见解和建议。

—第14篇----

MacST: 多口音语音合成通过文本音译进行口音转换