Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）如GPT系列的快速發展，安全性調校（safety alignment）成為保障AI系統不被惡意利用或產生有害輸出的關鍵技術。然而，ICLR 2025 年榮獲 Outstanding Paper 的論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》指出，目前主流LLMs在安全調校上存在一個重要卻鮮少被重視的結構性漏洞──調校過程主要影響模型最初幾個輸出詞元（tokens），而未深度滲透到整體生成過程中，導致「淺層安全調校（shallow safety alignment）」的現象。

研究背景與動機

安全調校的目標是使LLMs能夠產生符合道德、法律和社會規範的內容，防止模型被破解（jailbreak）或用於生成有害訊息。近年研究發現，即便經過安全調校的模型，也往往對一些簡單的攻擊策略或細微的調整（如fine-tuning）十分脆弱，這些方法能讓模型繞過原先設計的安全機制。此類問題不僅威脅使用者安全，也動搖了LLMs在實務應用上的信任基礎。

該論文認為，這些漏洞根源於安全調校過程所謂的「捷徑學習」現象，即模型的生成分布在最初幾個輸出詞元上被強烈調控，但隨著生成序列推進，這種調控力迅速減弱，導致攻擊者只需在生成的後續詞元施加影響即可「繞過」安全屏障。

核心方法與創新

作者提出「淺層安全調校」的概念，透過系列案例研究與數據分析，揭示目前安全調校實踐中，模型主要在初期詞元強化安全策略，後續詞元則保留較大彈性，容易被利用。例如：

• 對抗性後綴攻擊（adversarial suffix attacks）：在輸出末端加入特定詞元，令模型產生違規回答。
• 預填充攻擊（prefilling attacks）：在提示序列前端設計特定上下文混淆模型判斷。
• 解碼參數攻擊（decoding parameter attacks）：透過調整模型解碼超參數來改變生成行為。
• 微調攻擊（fine-tuning attacks）：利用輕微調整使模型安全機制失效。

為了解決這一問題，作者設計一種「正則化微調目標函數（regularized finetuning objective）」，此機制將安全信號強化延伸至生成序列的更多詞元，而非僅侷限於開頭幾個，藉由限制初期詞元的權重更新，提高模型在整個生成過程中的安全一致性與魯棒性。

這不僅是一套調校策略，更是一種調整訓練目標的哲學轉變，強調「安全調校深度」的重要性，即安全約束必須覆蓋更長的序列才能防止被繞過。

主要實驗結果

論文透過多組實驗驗證提出觀點與方法：

• 在多種攻擊場景下，對現有開放及商業模型進行測試，確證其安全調校存在淺層問題，即攻擊大多影響初期詞元之外的部分，攻擊成功率高。
• 導入正則化微調目標後，模型在對抗同類攻擊（尤其是細節微調和後綴攻擊）時展現大幅下降的脆弱性，攻擊成功率明顯降低。
• 比較不同調校深度對生成文本的影響，結果顯示更深層次的安全調校不顯著犧牲生成流暢性和多樣性，但提升了整體內容安全性。
• 案例分析說明多項近期所揭露的安全漏洞，都能透過「淺層安全問題」這一共同點被統一理解，加深我們對模型安全弱點的認識。

對 AI 領域的深遠影響

這篇獲獎論文對LLMs的安全調校建立了一個全新且深刻的觀點，使得社群開始反思過去安全策略過於表層的局限。傳統安全調校往往聚焦於模型輸出的前期詞元，視為塑造安全性行為的主要手段，然而作者發現這樣的方式容易被對手利用，安全保障不夠根本和持久。

因此，該研究促進了兩個層面的改變：

1. 理論層面：明確提出安全調校應該是「深度」且「持續」的過程，而非「淺嘗輒止」。這為未來設計安全機制提供了新的原則，促使學界與產業在模型生成流程的不同階段施加更全面的監控和調節。
2. 應用層面：正則化微調目標的提出，為工業實踐提供了一條可行路徑，既不損害生成質量，又能有效提升模型抵抗各類攻擊的能力。這對於建立可信任AI系統，尤其是在開放域對話、內容審核、醫療和法律文本生成等高風險領域的應用，有著廣泛的推廣價值。

更廣泛來說，該論文點出了AI安全挑戰中的「表層偽安全」現象，這是一種典型的「捷徑學習」問題，提醒研究者設計相應的預防及糾正策略，防止未來的AI系統因過於表面化的安全調校而蒙受信任危機。

未來，如何將安全調校擴展到模型整個生成過程中，結合更高階的解碼策略與內嵌機制自我監控，成為推動AI安全邁向下一階段的關鍵任務。本論文無疑為這一目標奠定了堅實基礎，值得業界和學界深入借鑑與追蹤。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946