当AI学会“越狱“与“签名“：大模型 安全的攻与防

当AI学会越狱与签名大模型安全的攻与防引言2023年以来以ChatGPT、GPT-4、LLaMA、Qwen为代表的大语言模型Large Language Models, LLMs席卷了几乎所有行业。然而能力越大风险越大。一方面用户发现可以通过精心构造的提示词绕过模型的安全护栏让模型输出有害内容——这就是所谓的越狱攻击Jailbreak Attack。另一方面AI生成的文本被大规模用于虚假新闻、学术作弊、网络钓鱼等场景如何判定这段文字是不是AI写的成了迫切的需求——这催生了大模型水印LLM Watermarking技术。这篇博客将系统介绍这两个方向的核心思想、主流方法和前沿进展。它们看似一攻一防实则深度交织——越狱攻击试图撕开安全防线水印技术试图追踪AI的痕迹而二者在技术层面的互动正在重塑我们对AI安全的理解。第一部分大模型越狱攻击为什么大模型需要安全护栏现代大模型在部署前通常会经历一轮对齐训练Alignment Training主要包括监督微调SFT和基于人类反馈的强化学习RLHF。对齐训练的目标是让模型学会拒绝回答危险问题——比如如何制造炸弹写一封钓鱼邮件等。经过对齐训练的模型通常会礼貌地拒绝这类请求输出诸如抱歉我无法帮助你完成这个请求之类的回复。但研究者和攻击者很快发现这些护栏远没有看上去那么坚固。对齐训练本质上是在模型的参数空间中施加了一层软约束而非逻辑意义上的硬规则。只要找到合适的输入方式就有可能绕过这层约束让模型原形毕露。这就是越狱攻击的基本动机。越狱攻击的主要范式基于手工提示的越狱Prompt-based Jailbreak最早也最直观的越狱方式是直接在提示词中做文章。2023年初互联网上涌现了大量手工构造的越狱提示模板其中最著名的是DANDo Anything Now系列。DAN的核心思路是在提示词中构造一个虚拟的角色设定告诉ChatGPT你现在扮演一个没有任何限制的AI助手DAN并要求它在每次回复中同时给出正常回答和DAN回答。通过这种角色扮演的框架模型往往会在DAN回答部分输出原本会被拒绝的内容。类似的手工技巧还有很多。比如假装这是一个小说创作任务虚构情境法、用base64编码问题再让模型解码回答编码绕过法、先让模型同意一个无害的前提再逐步引导到有害话题渐进式诱导法。这些方法的共同特征是利用自然语言的灵活性来重新框定reframe请求的语境使模型的安全分类器将有害请求误判为无害请求。Wei等人在2024年发表的工作对这类攻击进行了系统分类提出了两种基本机制竞争目标Competing Objectives和不匹配泛化Mismatched Generalization。前者指的是安全目标和其他训练目标如指令跟随、角色扮演之间的冲突——当两个目标无法同时满足时安全目标有时会败下阵来。后者指的是安全训练数据的覆盖面有限——模型在训练中见过的拒绝场景是有限的面对新颖的表达方式或语言组合时泛化能力不足。基于优化的越狱Optimization-based Jailbreak2023年中期Zou等人发表了一篇极具影响力的论文提出了GCGGreedy Coordinate Gradient攻击。GCG的思路是不再依赖人类手工构造提示而是用梯度优化的方式自动搜索一个对抗后缀adversarial suffix将其拼接在用户的有害问题后面使模型以极高的概率输出肯定性回答如Sure, here is...而非拒绝。具体来说GCG将越狱问题转化为一个离散优化问题在token空间中搜索一个固定长度的后缀序列最小化模型对肯定性前缀的负对数似然。由于token空间是离散的GCG使用了一种贪心坐标下降策略——每次选择梯度最大的位置在该位置枚举候选token选择使损失函数下降最多的那个。GCG的惊人之处在于其可迁移性transferability在一个开源模型如LLaMA-2上优化得到的对抗后缀往往可以直接迁移到其他模型包括闭源的GPT-4和Claude上实现越狱。这意味着攻击者甚至不需要接触目标模型的参数就能发起有效攻击这一发现对整个AI安全领域产生了深远影响。在GCG之后一系列改进工作迅速跟进。AutoDAN将遗传算法引入对抗后缀搜索在保持攻击效果的同时让对抗后缀更加自然从而规避了基于困惑度的检测防御。PAIRChao et al., 2023和TAPMehrotra et al., 2023则利用另一个LLM作为攻击者模型通过多轮对话自动生成和改进越狱提示完全不需要梯度信息因此可以攻击纯黑盒API。基于多模态的越狱随着多模态大模型如GPT-4V、LLaVA的兴起攻击面进一步扩大。Qi等人和Shayegani等人的工作表明可以通过在图像中嵌入对抗扰动来实现越狱——用户上传一张看起来无害的图片但图片中隐藏的像素级扰动会引导模型输出有害内容。这种攻击之所以有效是因为视觉编码器与语言模型之间的安全对齐通常比纯文本场景薄弱得多安全训练数据中很少包含图像-文本联合的有害样本。越狱攻击的防御防御越狱攻击的思路可以分为三个层次。第一个层次是输入过滤Input Filtering在用户输入到达模型之前进行检测和拦截。最简单的做法是关键词匹配但对稍有变体的攻击就无能为力。更先进的方法包括使用困惑度检测来识别GCG生成的不自然后缀因为对抗后缀通常是无意义的token序列困惑度极高或者训练一个专门的分类器来判断输入是否包含越狱意图。第二个层次是模型内部的鲁棒对齐。Mazeika等人提出的表示工程Representation Engineering方法试图在模型的中间层找到与有害/无害相关的方向向量并在推理时对其进行干预。另一条思路是对抗训练在对齐训练阶段就将越狱样本纳入训练数据让模型学会在面对越狱攻击时仍然保持拒绝。Adversarial Training for LLM Safety相关的工作近期增长很快但核心挑战在于攻击空间无限大而训练数据只能覆盖有限的攻击模式。第三个层次是输出检测Output Filtering在模型生成之后、返回给用户之前用另一个安全分类器检查输出内容是否包含有害信息。这是目前工业界最普遍采用的方案如OpenAI的Content Moderation API但其缺点在于增加了延迟和成本且分类器本身也可能被绕过。越狱研究的意义越狱攻击研究并不是教人做坏事——它是AI安全的压力测试。每一次成功的越狱都暴露了对齐训练的一个盲区推动了更强防御机制的发展。这个领域的研究正在从猫鼠游戏式的对抗走向更深层的理论问题对齐到底在模型内部改变了什么安全行为是一种脆弱的表面模式还是深入模型表示空间的稳健特征这些问题的答案将决定我们能否构建真正可信赖的AI系统。第二部分大模型水印为什么需要给AI文本盖章当一段文字出现在社交媒体、新闻网站或学术论文中时我们如何判断它是人类写的还是AI生成的这个问题在2023年之前还是学术边缘话题但随着大模型生成质量的飞速提升它已经成为关乎信息生态和社会信任的核心问题。一种直觉的思路是训练一个AI文本检测器——给分类器大量人类文本和AI文本让它学会区分二者。但这条路在实践中遇到了根本性困难随着模型能力的提升AI文本和人类文本在统计特征上越来越接近基于分类器的检测准确率在持续下降。更致命的是简单的改写就能让大多数检测器失效——这意味着检测器的可靠性无法给出理论保证。水印提供了一种根本不同的思路不是被动地检测AI文本的统计特征而是主动地在生成过程中嵌入一个秘密信号。这个信号对读者不可见、对文本质量影响极小但持有密钥的检测方可以可靠地识别它。水印将AI文本检测从一个统计猜测问题转化为一个可以精确控制错误率的假设检验问题。开山之作KGW方案2023年Kirchenbauer等人在ICML上发表了开创性的KGW方案奠定了大模型水印研究的基础。KGW的核心思想优雅而简洁。在生成每个token时KGW使用一个以前一个token为种子的伪随机函数将整个词表划分为两组绿名单green list和红名单red list。然后对绿名单中所有token的logit值加上一个正向偏移δ。这使得模型在采样时倾向于选择绿名单token但由于偏移是在logit对数概率层面施加的文本的流畅性受到的影响较小。检测时给定一段待检测文本和密钥检测方对每个位置重新计算红绿名单使用相同的伪随机函数和密钥统计文本中绿名单token所占的比例。对于自然文本没有水印绿名单token的比例应该接近50%因为划分是随机的。对于水印文本绿名单token的比例会显著高于50%。通过标准的z检验就可以做出判定并且可以精确控制假阳性率将人类文本误判为AI文本的概率。KGW方案的优势在于理论简洁、实现容易、检测具有统计保证。但它也有明显的局限性。首先偏移δ的大小面临质量-可检测性的权衡δ越大水印信号越强、检测越容易但文本质量下降也越明显。其次KGW对文本编辑的鲁棒性有限——如果攻击者改写了足够多的token绿名单比例就会下降到检测阈值以下。分布保持型水印理论的优雅解KGW方案的一个根本局限是它改变了模型的输出分布——这意味着水印文本和无水印文本在统计上存在可检测的差异一个拥有足够样本的分析者即使没有密钥也可能发现水印的存在。这在某些场景下是不可接受的。2023年底到2024年初一系列分布保持型水印方案被提出其中最重要的是Aaronson方案由Kuditipudi等人正式发表为KTH方案和Christ等人的不可检测水印。这类方案的核心思想是利用共享伪随机性在采样环节嵌入水印信号但保持每个位置上token的边际分布完全不变。以KTH方案为例生成时对每个位置用密钥生成一个在[0,1][0,1][0,1]上均匀分布的随机数rtr_trt​然后通过逆CDF变换将rtr_trt​映射到一个token。检测时用相同的密钥恢复随机数序列检验这些随机数与实际token之间的相关性。对于水印文本相关性会显著高于随机水平。分布保持型方案的理论吸引力在于由于单个token的分布不变文本质量在理论上完全不受影响。但代价是检测通常需要更长的文本才能积累足够的统计信号且对文本改写的鲁棒性通常弱于分布偏移型方法——改写会破坏token与随机数之间精细的对应关系。Christ等人的工作更进一步在计算安全假设下证明了水印的不可检测性即任何多项式时间算法在不持有密钥时都无法区分水印文本与自然文本。这是信息安全意义上的最强保证。水印的鲁棒性挑战水印方案面临的最大实际挑战是鲁棒性——水印信号能否在各种后处理和攻击下存活最常见的攻击是改写攻击paraphrase attack用另一个LLM对水印文本进行同义改写在保持语义的同时替换大量token。实验表明使用DIPPER等专门的改写模型可以在保持80%以上语义相似度的前提下将大多数水印方案的检测率从95%以上降至50%以下。翻译攻击更为激进——将文本翻译成另一种语言再翻译回来几乎完全重构了token序列。面对这些攻击研究者提出了多种增强鲁棒性的策略。一种思路是语义水印——在语义空间而非token空间嵌入信号使得同义替换不影响水印。另一种思路是自适应嵌入——根据每个位置的上下文特征动态调整嵌入策略将水印信号集中嵌入在最不容易被改写的位置。还有一种以攻为守的思路——在训练水印检测器时就将改写后的文本纳入训练样本使检测器对改写具有鲁棒性。值得注意的是Sadasivan等人的工作从理论层面指出当模型生成质量足够高时对于任何水印方案都存在一种通用攻击基于改写可以在保持文本质量的同时消除水印。这个结论虽然是渐近意义上的但它提醒我们水印技术的局限性是根本性的不应被过度依赖。水印的部署与政策水印技术的价值不仅在于技术本身还在于它可以融入AI治理的制度设计中。2023年7月白宫在与多家AI公司的会议后发布声明要求企业开发包括水印在内的技术机制来帮助用户识别AI生成内容。欧盟AI法案也在透明度条款中提出了类似的要求。但水印的部署面临一个根本性的制度困境它依赖生成方的主动配合。如果一个不负责任的开发者选择不加水印或者用户使用开源模型自行部署绕过水印那么水印机制就形同虚设。这使得水印更适合作为可信AI生态中的一个组成部分——与内容认证标准如C2PA、来源追溯系统、用户教育等措施配合使用——而非单独作为AI内容治理的银弹。第三部分越狱攻击与水印的交叉地带越狱攻击和水印这两个方向看似独立但存在深层的技术交互。第一个交叉点在于水印对安全对齐的影响。如前文所述RLHF对齐训练使模型学会在敏感话题上拒绝回答。水印嵌入尤其是分布偏移型修改了模型的输出分布可能削弱这种拒绝行为。想象这样一个场景模型在某个决策点非常想输出抱歉我无法回答这个问题但抱歉这个token恰好被水印的随机划分归入了红名单——虽然单个token的概率变化很小但在边界情况下模型对拒绝和配合的概率本就接近时这种微小的偏移可能导致模型翻转决策。这是一个值得实证检验的假设。第二个交叉点在于越狱攻击对水印系统的利用。攻击者可能利用水印的存在来推断模型内部的生成策略比如通过分析大量输出推断红绿名单的划分规律从而更有效地构造越狱攻击。反过来水印检测机制也可能被用作越狱攻击的检测手段——如果越狱输出仍然带有水印至少可以追溯到生成来源。第三个交叉点更为深远越狱攻击和水印去除攻击在技术层面有大量共享结构。两者都试图在保持文本质量的前提下改变文本的某些深层属性——前者改变的是语义从拒绝变为配合后者改变的是统计信号从可检测变为不可检测。改写攻击既是最强的水印去除手段也是有效的越狱策略将有害请求改写为看似无害的形式。这种共性暗示两个方向的攻防可能共享底层的理论框架。推荐参考文献越狱攻击方向Zou, A., Wang, Z., Kolter, J. Z., Fredrikson, M. (2023).Universal and Transferable Adversarial Attacks on Aligned Language Models. 这是GCG攻击的原始论文提出了基于梯度优化的通用越狱方法是该领域引用量最高的工作之一。Wei, A., Haghtalab, N., Steinhardt, J. (2024).Jailbroken: How Does LLM Safety Training Fail?对越狱攻击机制进行了系统性分类提出了竞争目标和不匹配泛化两种基本解释框架。Chao, P., Robey, A., Dobriban, E., Hassani, H., Pappas, G. J., Wong, E. (2023).Jailbreaking Black Box Large Language Models in Twenty Queries. 提出了PAIR方法使用攻击者LLM自动生成越狱提示证明了黑盒越狱的高效性。Liu, Y., Deng, G., Xu, Z., Li, Y., Zheng, Y., Zhang, Y., ... Yang, K. (2024).Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study. 对各类基于提示工程的越狱技术进行了全面的经验性研究。Mazeika, M., Phan, L., Yin, X., Zou, A., Wang, Z., Mu, N., ... Hendrycks, D. (2024).HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal. 提出了越狱攻击和防御的标准化评测框架对推动该领域的可复现研究具有重要价值。大模型水印方向Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., Goldstein, T. (2023).A Watermark for Large Language Models. KGW方案的原始论文大模型水印领域的开山之作。Kuditipudi, R., Thickstun, J., Hashimoto, T., Liang, P. (2024).Robust Distortion-Free Watermarks for Language Models. KTH方案分布保持型水印的重要代表在鲁棒性方面也做了特别设计。Christ, M., Gunn, S., Zamir, O. (2024).Undetectable Watermarks for Language Models. 在密码学框架下证明了不可检测水印的存在性是该领域理论深度最高的工作。Zhao, X., Ananth, P., Li, L., Wang, Y. T. (2024).Provable Robust Watermarking for AI-Generated Text. Unigram水印方案通过上下文无关的红绿名单设计提升了鲁棒性。Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., Feizi, S. (2023).Can AI-Generated Text Be Reliably Detected?从理论角度论证了AI文本检测包括水印的根本性局限是理解水印天花板的重要文献。Fernandez, P., Chanchani, A., Durmus, E., Tay, J. (2023).Three Bricks to Consolidate Watermarks for Large Language Models. 提出了多比特水印和水印鲁棒性增强的多个实用技术。综合性综述Liu, A., Pan, L., Hu, X., Li, S., Wen, L., King, I., Yu, P. S. (2024).A Survey of Text Watermarking in the Era of Large Language Models. 目前最全面的LLM水印综述之一。Yi, J., Xie, Y., Zhu, B., Hines, K., Kiciman, E., Sun, G., ... Li, B. (2024).Jailbreak Attacks and Defenses Against Large Language Models: A Survey. 越狱攻击方向的综合综述。Xu, Z., Jiang, F., Niu, L., Deng, J., Hooi, B., Feng, F. (2024).A Comprehensive Study of Jailbreak Attack versus Defense for Large Language Models. 另一篇高质量的越狱攻防综述侧重实验对比。结语越狱攻击揭示了当前对齐技术的脆弱性水印技术则试图在生成源头建立可追溯的信任链条。二者的研究都处于快速发展期几乎每个月都有新的攻击方法打破旧的防御记录也有新的防御机制被提出。对于研究者而言这两个方向的交叉地带——对齐与水印的互动、攻击技术的共享结构、以及安全性的统一理论框架——或许蕴含着最深刻的开放问题。对于从业者和政策制定者而言理解这些技术的能力边界和局限性比追求某个单一方案的完美更为重要。AI安全不会由一项技术解决而是需要技术手段、制度设计和社会共识的协同演进。