Evaluating Large Language Models: A Comprehensive Survey

本文是LLM系列文章，针对《Evaluating Large Language Models: A Comprehensive Survey》的翻译。

摘要

大型语言模型（LLM）在广泛的任务范围内表现出了非凡的能力。它们引起了人们的极大关注，并被部署在许多下游应用程序中。然而，类似于一把双刃剑，LLM也存在潜在风险。他们可能会遭受私人数据泄露或产生不恰当、有害或误导性的内容。此外，LLM的快速发展引发了人们对在没有足够保障的情况下可能出现的超级智能系统的担忧。
为了有效利用LLM能力并确保其安全和有益的发展，对LLM进行严格和全面的评估至关重要。本次调查旨在为LLM的评估提供一个全景视角。我们将LLM的评估分为三大类：知识和能力评估、对齐评估和安全评估。除了对这三个方面的评估方法和基准进行全面审查外，我们还整理了与LLM在专业领域的表现有关的评估简编，并讨论了涵盖LLM能力、一致性、安全性和适用性评估的综合评估平台的构建。
我们希望这一全面的概述将激发对LLM评估的进一步研究兴趣，最终目标是使评估成为指导LLM负责任发展的基石。我们设想，这将引导他们朝着最大限度地提高社会效益同时最大限度地降低潜在风险的方向发展。相关论文的策划列表已在GitHub存储库中公开。

1 引言

2 分类和路线图

3 知识和能力评估

4 对齐评估

5 安全评估

6 专业LLM评估

7 评估组织

8 未来方向

9 结论

LLM的开发速度惊人，在许多任务中都取得了显著进展。然而，尽管迎来了人工智能的新时代，我们对这种新型智能的理解仍然相对有限。至关重要的是，要划定这些LLM能力的界限，了解它们在各个领域的表现，并探索如何更有效地利用它们的潜力。这就需要一个全面的基准框架来指导LLM的发展方向。
这项调查系统地阐述了LLM的核心能力，包括知识和推理等关键方面。此外，我们深入研究了比对评估和安全性评估，包括伦理问题、偏见、毒性和真实性，以确保LLM的安全、可信和合乎道德的应用。同时，我们探索LLM在不同领域的潜在应用，包括生物学、教育、法律、计算机科学和金融。最重要的是，我们提供了一系列流行的基准评估，以帮助研究人员、开发人员和从业者了解和评估LLM的性能。
我们预计，这项调查将推动LLM评估的发展，为指导这些模型的可控发展提供明确的指导。这将使LLM能够更好地为社区和世界服务，确保其在各个领域的应用是安全、可靠和有益的。我们满怀期待地迎接LLM发展和评估的未来挑战。