论文阅读：2024 arxiv AI Safety in Generative AI Large Language Models: A Survey

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

AI Safety in Generative AI Large Language Models: A Survey

https://arxiv.org/pdf/2407.18369

https://www.doubao.com/chat/3262156521106434

速览

1. 研究动机：生成式AI大语言模型快速发展，其安全问题引发担忧，急需系统研究。
2. 研究问题：探究大语言模型在数据、模型、提示、对齐和规模化方面的安全挑战及解决办法。
3. 研究方法：检索AI和NLP领域文献，分析大量相关研究成果，对大语言模型安全问题分类梳理，探讨各类安全风险及应对策略。
4. 研究结论：大语言模型存在多种安全风险，如数据偏差、模型生成错误信息等，强化学习等方法可缓解，但仍需探索新方向。
5. 不足：对强化学习在复杂场景下保障模型安全的研究不够深入，缺乏对长期安全影响的评估。

这篇论文是关于生成式人工智能大语言模型（GAI-LLMs）安全问题的综述，从计算机科学家的视角，探讨了大语言模型在安全方面的研究进展、存在的问题以及未来的研究方向。

1. 研究背景与目的：大语言模型发展迅速，但安全问题备受关注，现有研究缺乏针对其技术层面安全问题的专门综述。该论文旨在系统梳理相关研究，为解决大语言模型的安全问题提供参考。
2. 大语言模型基础：大语言模型基于Transformer架构，可分为编码器 - 解码器、编码器-only、解码器-only三种类型，具有上下文学习能力。上下文学习能让模型依据少量示例处理新任务，节省计算成本。
3. 安全问题分类及表现
   • 数据安全：训练数据存在毒性、偏差、隐私泄露和版权侵权等问题。比如模型可能生成有害内容，学习并放大数据中的偏差，泄露敏感信息，使用受版权保护的数据。
   • 模型安全：模型可能产生错误信息，现有评估工具难以检测。评估协议存在局限性，模型缺乏透明度和可解释性，在推理过程中还可能泄露隐私和侵犯知识产权。
   • 提示安全：提示攻击技术对模型安全构成威胁，如越狱攻击可绕过保护措施。不过，像NVIDIA的NeMo Guardrails这样的工具能通过设置规则来提高模型应用的安全性和可控性。
   • 对齐安全：包括伦理道德对齐、智能体对齐等。目前有多种对齐方法，如强化学习从人类反馈（RLHF），但也面临谄媚行为等挑战。
   • 规模化安全：模型规模扩大带来新挑战，如可扩展监督困难、出现新能力但难以自我修正、知识蒸馏存在局限性、微调可能导致灾难性遗忘。
4. 未来研究方向：包括安全的检索增强生成、深入理解知识蒸馏、多智能体强化学习中的对齐合作、增强智能体能力、对齐专家混合模型、确保生成式大语言模型的安全、自然语言生成的上下文学习对齐、自然语言理解和有原则的智能体、安全强化学习、自治理和自省的生成式智能体等。