Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域日益成熟，這些模型在提供強大生成能力的同時，也面臨嚴峻的安全問題。近期研究發現，雖然透過對齊（alignment）技術試圖使模型生成內容更加安全且符合人類價值，但實驗顯示對齊後的LLM依然極易遭受各種攻擊手段，甚至是透過簡單的微調（fine-tuning）便可輕易繞過安全機制。ICLR 2025中獲得Outstanding Paper獎項的論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》由Qi等人提出一個全新的洞見，指出了當前安全對齊機制存在的根本性缺陷——「淺層安全對齊」（shallow safety alignment），並提出了突破性的解決方案。

研究背景與動機

目前主流的安全對齊方法大多透過在訓練過程中對模型的生成行為施加約束，使其在輸出內容的初期階段就調整生成分布，避免產生不當或有害的語句。然而作者發現，這種對齊往往集中在生成序列的「前幾個標記（tokens）」，形成一種「淺層」的對齊策略。也就是說，安全規則被局限於模型開頭部分的輸出，而後續內容的生成則較少受到限制。這種方法導致模型在面對複雜或精心設計的攻擊時容易被「繞過」，因為攻擊者只需在開頭植入少數惡意標記或者結合後續輸入就能使得後半段生成內容偏離安全規範。

本論文的核心動機即在於：深入探討並驗證目前對齊策略的局限性，系統性地揭露和說明淺層安全對齊的危害，進而找出如何讓安全策略「深層次」植入整個生成過程，提升模型的防禦能力及整體安全性。

核心方法與創新

作者首先透過多組案例研究與理論分析，確定淺層安全對齊的存在及成因。例如，他們指出基於最大似然估計（MLE）及常用的微調策略容易讓安全機制只聚焦於生成的頭幾個標記；而對抗性攻擊手段如「對抗後綴攻擊」（adversarial suffix attacks）與「預填充攻擊」（prefilling attacks）則專門利用了這種安全策略的短視性。

基於上述洞見，作者提出了一種新的正則化微調目標，限制微調時對於初始多個標記的參數更新幅度。此舉目的在於讓模型在生成之初的安全性約束更加持久且深層次地影響後續生成，使對齊不再是僅靠前幾個標記的「表面工作」，而是貫穿整個生成過程。

具體來說，作者設計了一個「深層安全對齊」（deep safety alignment）框架，方法包括：

• 分析並量化對齊對生成分布的影響深度，驗證傳統微調中安全約束主要集中在前幾Token。
• 透過正則化限制微調階段對初期Token輸出分布的變動，防止安全機制被輕易覆寫或繞過。
• 將深層次安全約束與解碼策略優化結合，提升模型對各種已知攻擊的魯棒性。

主要實驗結果

論文中作者利用多個公開基準資料集和攻擊類型，對目前主流LLM的安全對齊效果進行了全面評估，包括即興式提示攻擊（prompt injection）、微調攻擊和解碼參數攻擊等。實驗結果顯示：

• 現有模型確實存在淺層安全對齊問題，安全約束顯著僅作用於輸出初期的少數標記。
• 利用作者提出的深層安全對齊微調目標後，模型在保持生成品質的同時，能顯著提升對抗上述多種攻擊形式的抵禦能力。
• 深層安全對齊策略對於微調攻擊尤其有效，使模型不易被新微調樣本覆蓋原有對齊。

此外，作者也分析了不同解碼參數（如溫度、top-k採樣）對安全性能的影響，發現整合深層安全對齊後，模型對這些解碼變化的敏感度降低，進一步強化了安全性。

對 AI 領域的深遠影響

本論文的重要貢獻在於提出「安全對齊深度」這一全新概念，明確指出目前安全對齊存在普遍的「淺層化」問題。這帶來以下幾點深刻啟示與影響：

1. 安全對齊不應只看表面：過去對齊策略過於依賴目前輸出序列的「前端」調整，忽視了生成過程中的長距依賴與內部結構，未能真正將安全規則植入模型行為的深層。未來對齊研究必須重新設計目標，使安全規則能持續且全面地貫穿整個生成流程。
2. 攻擊與防禦視角的統一：透過揭示多種攻擊手段的共通弱點，本論文提供了安全威脅模型的統一框架，有助於研究人員更有效地設計防禦策略，提升模型安全的整體可靠性。
3. 微調策略需革新：現有微調流程在安全領域存在根本短板。限制微調對安全保護初期標記的影響不僅可提高安全性，也讓LLM能在不犧牲性能的前提下增強對抗微調攻擊的能力，為微調技術帶來新的設計思路。
4. 推動生成模型安全標準化：將安全對齊深度納入模型評估指標與開發標準，有望推動語言模型從業界與學術界在安全設計與測試流程上的進步，保障AI系統在實際應用中的穩定與可靠性。

總之，本論文透過系統性檢視與創新方法，有效回應了當前大型語言模型安全對齊被輕易攻破的挑戰。其「超越淺層對齊」的理念和策略，不僅提升了模型對抗多種攻擊的魯棒性，也為後續安全研究提供了明確方向。對於工程師與研究生而言，本研究強調了安全設計必須兼顧深度與持久性，提醒我們安全對齊是整體生成過程中的長期工作，而非短暫且片段的調整。未來隨著AI技術的快速發展，實作深層安全對齊將成為保障智能系統可信且安全的關鍵技術路徑。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946