Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域展現出卓越的生成能力，安全性與倫理方面的「安全對齊」（safety alignment）成為業界與學術界關注的焦點。所謂安全對齊，指的是確保模型產生的文本不涉及有害言論、偏見或違反使用規範。然而即使經過嚴格的對齊訓練，這些模型仍易受到「越獄」（jailbreak）攻擊 - 指透過特定提示或微調，繞過預設的安全限制，生成不當內容。ICLR 2025 榮譽論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》由Qi等人提出了關鍵性的觀點與技術突破，說明當前 LLM 的安全對齊還十分「淺層」（shallow），並給予具體改善方向與實驗驗證。

研究背景與動機

傳統的安全對齊方法主要集中在模型生成文本的「前幾個字元／標記（tokens）」的生成分布調整。換言之，模型透過特定調教使得生成初期的文字高度符合安全規範，進而希望整段對話也受到约束。但Qi等人發現，這樣的做法帶有根本性盲點，即安全機制只「淺層」生效，未能滲透整體生成過程。

這導致模型即使在起始幾個 token 上保持安全，後續文本卻可能開始產生越獄行為，或透過巧妙的攻擊策略跳過安全限制。舉例而言，敵意後綴攻擊（adversarial suffix attack）、預填充攻擊（prefilling attack）、解碼參數調整攻擊、以及微調攻擊等，都能利用這種「淺層對齊」的弱點，在生成過程後段產生不安全內容。這不僅威脅商用部署的安全，更限制 LLM 在敏感場景的應用範圍。

核心方法與創新

為了探討並解決淺層安全對齊問題，作者首先提出理論與實際案例，深入分析為何安全對齊往往只在生成的初始 token 起作用。研究指出，現行對齊技術（包含強化學習與微調）往往著重於初期輸出機率分布的調整，因為這在技術上較為直接且效率較高，但缺乏對後續整體生成脈絡的約束。

作者提出一個關鍵概念：安全對齊應該是「深層的」（deep），即覆蓋不僅是最初幾個 token，而是整段文本生成的過程。為此，Qi等人設計了一種正則化的微調目標函數（regularized finetuning objective），具體透過限制初期 token 上的參數更新，使安全對齊機制得以更長時間「持續生效」。該方法有效避免微調過程中攻擊者藉由調整模型前置生成行為來破壞安全性。

此外，研究展示了一系列案例研究與攻防測試，提出了多種檢測淺層對齊漏洞的具體手段，並驗證深層安全對齊在提升整體對抗魯棒性上的效果。這些貢獻不僅理論上深化了安全對齊的認識，也為實務應用提供可行方案。

主要實驗結果

論文中，作者以目前主流對齊模型為基礎，重現多種越獄與攻擊場景，包含：

• 敵意後綴攻擊：透過在模型生成文本後段添加精心設計的提示，誘使模型脫離安全約束。
• 預填充攻擊：在輸入端加入誘導內容，操控模型生成偏離安全規範的文本。
• 解碼參數攻擊：通過調整 Beam Search 等解碼參數，使模型生成更多不安全內容。
• 微調攻擊：攻擊者反覆微調模型，讓模型學會繞過最初安全設定。

在這些實驗中，淺層安全對齊模型易被成功攻破，而運用作者提出的正則化微調方法，將安全約束「穿透」至後期生成階段，模型對上述攻擊的抵抗力顯著提升。

具體數據顯示，相較於原始微調，帶有深層安全約束的模型在敵意後綴攻擊成功率降低超過 30%；微調攻擊的穿透成功率亦明顯下降，且模型生成文本的整體安全性與語言流暢度保持穩定。

對 AI 領域的深遠影響

此論文的貢獻並非僅是提升單一模型的安全防護，而是提出了一個全新的視角來思考 LLM 的安全對齊問題。現行方法過於依賴對初始 token 的調整，造成安全機制極易被編碼後期生成的方式所繞過。透過「深層安全對齊」的概念，未來研究能在設計對齊技術時，不再僅止步於「表面層」的控制，而是應涵蓋整體生成機制，從根本上增強模型的安全性。

此外，該研究提出的正則化微調策略，為防範微調攻擊提供一條可行路徑，有助於業界在商用部署中提升模型安全保障。隨著 LLM 應用日益廣泛於醫療、金融、法律等敏感領域，這種更深層且持久有效的安全對齊設計，將成為推動 AI 負責任發展的基石。

總結而言，Qi等人的《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》不僅揭露了 LLM 安全對齊目前存在的結構性弱點，也透過實際機制改進提供了解決方案，對推動未來安全可靠且具抗攻擊性的 AI 生成系統建設，具有高度指標性與啟發性。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946