Safety Alignment Should Be Made More Than Just a Few Tokens Deep

近年來，隨著大型語言模型（Large Language Models, LLMs）在多種應用上的廣泛部署，如何確保這些模型的安全性成為人工智慧領域的重要課題。所謂安全性調校（safety alignment），旨在使模型產出的內容遵守道德規範、不含有害或誤導資訊。然而，儘管已有多種對齊方法，研究者發現這些調校常因過於「淺層」而易受攻擊與繞過。ICLR 2025 的傑出論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》由 Qi 等人發表，系統性揭示了此一問題的本質，並提出新的思維與方法以提升模型的安全穩固度。

研究背景與動機

過去的研究往往將安全調校集中於影響模型輸出開始階段的「前幾個詞元（token）」，利用這些詞元確保語言內容的合規性與安全性。然而，Qi 等人觀察到，許多現有 LLM 在安全對齊方面容易遭受多種攻擊，包括敵意後綴（adversarial suffix）攻擊、預填（prefilling）攻擊、解碼參數攻擊與微調攻擊等。這些問題反映出模型雖然在初始生成階段有所調整，但隨後的生成仍可被操縱或繞過。作者稱此現象為「淺層安全對齊（shallow safety alignment）」，意即安全調校只深及模型生成的前幾個詞元，而後續生成的潛在空間則缺乏足夠的安全保障。

動機在於，淺層的安全調校本質上為使用方便但脆弱的捷徑，容易被攻擊者利用，尤其在多階段生成與長文本任務中更為明顯。為了建立更為全面且持久的安全性保障，研究團隊鑽研如何讓安全調校「深入」模型生成過程的更多階段，而非僅限於起始部分。

核心方法與創新

本論文首先透過一系列案例研究與分析，系統性剖析淺層安全對齊形成的原因。研究指出，當前安全調校普遍習慣於在模型生成的最初詞元上施加高度約束，導致模型在暫時受控後，隨著生成序列增加，能力遞減、監控稀疏，使得後續生成可透過攻擊策略繞過限制。

為了突破此限制，作者提出:

• 安全調校深度觀念：強調調校須跨越更多詞元範圍，擴展模型安全約束的影響深度，使安全策略在整體生成中持續生效。
• 正則化微調目標（regularized finetuning objective）：設計一套新穎的微調正則化方法，在微調階段對模型輸出初期詞元的更新作出限制，防止模型過度偏離安全設定，提升對微調攻擊的抵抗力。
• 演算法實驗與攻擊檢驗：在多種攻擊場景（如敵意後綴、解碼參數多樣化）下驗證論點，且採用深度安全調校策略示範顯著改進防禦效果。

這套正則化微調目標的關鍵在於平衡模型靈活度與安全性，允許模型繼續優化性能的同時，不喪失安全調校的核心保障，避免淺層調校容易被繞過的缺陷。

主要實驗結果

本論文進行了多項實證實驗驗證淺層安全調校的危害與深層調校的必要性。主要結果包含：

• 淺層對齊模型易受多種攻擊機制影響：敵意後綴與微調等攻擊可輕易繞過起始詞元的安全限制，使生成內容違反預期的安全規範。
• 深層安全調校帶來顯著的抗攻擊效果提升：透過將安全對齊延伸至生成過程的更大範圍，模型維持高比例的合規生成，即使面對複雜攻擊亦不輕易失效。
• 正則化微調目標有效減緩微調攻擊影響：在微調實驗中，這種方法能明顯降低模型安全策略被慢慢剝離的風險，提升安全調校的持續時間與穩定度。

此外，作者透過分析模型生成的中後期詞元分布，支持淺層調校問題的存在，並進一步驗證深層調校能強化生成序列整體的安全屬性，而不僅是起始階段。

對 AI 領域的深遠影響

這篇論文從根本上挑戰了現有 LLM 安全對齊的思維慣性，指出單純局限於輸出序列開頭調校存在天然缺陷，呼籲研究社群重新設計對齊策略，使其深入整體生成流程。這對未來 AI 安全研究與應用有以下幾方面重大意義：

1. 安全對齊策略的深層化趨勢：論文提出的概念與方法將推動未來模型開發中，安全調校不再是表層的「裝飾」，而是貫穿生成管線的核心設計要素。這有助避免因深度不足而被輕易「越獄（jailbreak）」。
2. 防禦機制多樣化與集成化：提出的正則化微調目標與持續性安全策略，為抵抗微調攻擊等先進脅威提供新思路，激發多種防禦技術的創新與結合。
3. 促使基礎模型與安全模型訓練分離設計：該研究暗示未來安全模型可能需要在訓練架構與優化目標上與強化對齊特化訓練相結合，而非僅靠初始輸出調整，從而提升更全面的安全保障。
4. 推動安全對齊理論的深化與實務標準化：定義了安全「深度」的度量概念，促使後續工作在比較與衡量安全能力時有更清晰與量化指標，改善科研社群對安全性評估的一致性。

整體而言，Qi 等人提出的「超越淺層安全對齊」視角，是一個重要里程碑，提醒研究者必須突破現有調校侷限，以更深遠且持久的方式保障大型語言模型的安全性，為推動 AI 可信賴與可持續發展奠定基礎。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946