Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域的快速發展與廣泛應用，其安全性問題越來越受到社群關注。特別是在對齊（alignment）技術的推進上，我們希望模型能夠遵守倫理規範、避免產生有害或不當內容。然而，這篇由 Qi 等人於 ICLR 2025 發表並獲得「Outstanding Paper」殊榮的論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》指出，現有的安全對齊方法存在一個被忽視且根本的問題──多數安全對齊只著重於生成的前幾個詞（token），導致模型容易被攻擊或繞過，研究者稱之為「淺層安全對齊」（shallow safety alignment）。

研究背景與動機

現行 LLM 的安全對齊通常涉及透過人工標註資料或微調方式，引導模型產生符合社會規範的輸出。然而，過去的實證研究和隨後的攻擊案例展示，這些對齊措施經常在面對簡單的攻擊方式時被輕易突破，如巧妙拼接的「惡意後綴」（adversarial suffix）、前置騙填（prefilling）以及微調後又被「越獄」（jailbreak）。這種脆弱性不僅限於基礎模型，甚至在經過安全微調的模型中也普遍存在。論文作者認為，造成這些問題的核心原因是對齊過程過於淺層，僅聚焦於模型生成的最初幾個詞，而忽略了整個生成序列的安全性，導致攻擊者只要繞過前幾詞的限制即可操控後續輸出。

核心方法與創新

為了系統性檢驗與說明這種「淺層安全對齊」問題，作者以多個案例研究為基礎，詳細分析現有模型在面對不同攻擊方式時的行為模式，並提出不同攻擊實例背後的淺層對齊本質：

• 惡意後綴攻擊：攻擊者在輸入後端加入特製的詞串，使模型前幾個安全性限制的作用失效，進而觸發不當回應。
• 前置騙填攻擊：在提示最前端插入特定詞彙，讓後續生成的安全對齊失靈。
• 解碼參數攻擊：透過變更解碼策略（如溫度、top-k等），繞過原本微調所加強的安全機制。
• 微調攻擊：在模型基礎微調之後，使用看似無害的策略再次改寫模型行為，繞過安全對齊。

基於對淺層安全對齊機制的理解，作者提出一項創新策略──設計一種正則化微調目標（regularized finetuning objective），強制限制模型在最初幾個詞的更新幅度，藉此避免微調導致的安全對齊流失，讓安全策略能更持久具有效果。此外，論文還強調，安全對齊的深度必須超越幾個初始 token，將安全策略注入整個生成過程，以提升模型抵抗多種攻擊的能力。

主要實驗結果

為了驗證他們提出的假設與方法，作者對多種主流 LLM 進行了實驗，涵蓋基礎模型、經安全微調的模型，以及採用他們提出正則化微調方法的模型。實驗結果顯示：

• 現有的安全對齊大多僅在起始 5～10 個 token 發揮效果，之後模型生成內容容易偏離安全規範，使模型對惡意後綴和微調攻擊極為脆弱。
• 使用作者所提出的正則化微調目標能顯著降低微調攻擊對模型安全性的破壞，安全對齊效果更加穩定持久。
• 透過加深安全對齊深度（不僅限於前幾個 token），模型在對抗多種已知攻擊時的成功率大幅提升，展現出更好的穩健性。
• 針對解碼參數攻擊，作者的策略同樣顯示出部分防禦效果，說明非淺層的安全策略能補足單純微調對抗手段的不足。

整體而言，該研究不僅揭露現有安全對齊的根本缺陷，也提供了具體且有效的改進方案。

對 AI 領域的深遠影響

這篇論文的重要貢獻在於帶來了對「安全對齊深度」的全新認知，推動安全研究從過去「前幾個詞的保護」轉向「整體生成過程的縝密防護」。

首先，此研究揭示現階段許多安全防護僅止於「表面」的問題，使得各式越獄和攻擊手段很容易得逞。指出「淺層安全對齊」的缺陷有助於業界重新思考並改變對齊策略的設計基礎，促進更具耐久力的安全機制開發。

此外，此論文所提出的正則化微調目標與深化對齊深度的建議，為後續研究提供了明確可行的方向，未來可結合更複雜的對齊模型、強化學習或多維度攻擊防禦策略，以達成更為穩固的安全標準。

其次，這項發現對於商用AI系統的部署同樣具有重大意義。廠商在推出含對齊安全保障的模型時，應警惕淺層安全對齊可能隱藏的風險，並投入資源優化對齊機制深度，提升使用者信任與法規符合度，減少潛在的倫理與法務問題。

最後，此論文促使學界與產業界共同關注安全對齊的內涵與實踐維度，喚起對「模型行為一致性」和「安全規範貫徹到底」的新思維，有望推動整個 AI 領域在安全性上達成更高標準，促進 AI 技術的健康永續發展。

總結來說，Qi 等人的研究不僅深入剖析了 LLM 安全部署中被忽略的薄弱環節，更提出了創新且切實可行的解決方案，對於未來安全對齊策略的設計和實施具有指標性價值。對所有關心 AI 安全議題的工程師與研究人員而言，閱讀此論文將能大幅拓展對安全對齊本質與技術挑戰的認識，啟發更多創新思考與改進。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946