Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域的快速普及與應用，模型的安全性問題日益受到關注。當前主流的安全調校技術雖已在一定程度上限制模型產生有害內容，但仍存在諸多薄弱環節，容易受到各類「越獄攻擊」（jailbreak attacks）影響。ICLR 2025 年獲獎論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》由 Qi 等人提出了一項具有突破性的見解與方法，指出現有安全調校策略普遍存在「淺層安全調校」（shallow safety alignment）問題，即安全限制多只針對模型生成的初始數個詞元（tokens）進行管控，而非整體生成過程的深入調整，導致模型易遭輕量攻擊或微調攻擊繞過安全機制。

研究背景與動機

近年來，大型語言模型憑藉其強大的語言理解與生成能力，漸成智慧助理、自動客服、內容過濾等應用的支柱技術。為防止模型生成危險、偏見或非法內容，研究者透過安全調校（alignment）技術，應用如強化學習自人類反饋（RLHF）等方法，將模型對有害輸出的可能性降至最低。

然而，現有安全調校往往只對模型生成序列開頭的幾個詞元施加強烈限制，這是因為模型的生成過程中，初期詞元能夠塑造語境與後續內容，安全策略因此偏重「開頭管控」。這種「淺層調校」雖有效阻擋部份問題，但卻留下了攻擊面：攻擊者可透過後綴輸入（suffix attacks）、預填詞元（prefilling attacks）、修改解碼參數、甚至簡單微調，輕易誘導模型產生違規回應。論文指出，這背後的根本原因是安全調校策略未能「深入」模型生成流程，而只是局限在最早的幾個詞元。

核心方法與創新

本論文首先透過多案例分析，系統性描述與驗證了「淺層安全調校」現象存在於多數先進 LLM 中。團隊檢視了不同模型在面對多種攻擊時的反應，發現安全策略多半集中於生成起始位置，缺少跨越整個序列生成過程的持久限制。

論文的關鍵創新在於提出將安全調校「深入」生成序列的整體過程，而非僅首數個詞元。為達成此目標，作者設計了一種新的正則化微調目標（regularized finetuning objective），該方法在微調階段約束模型對初始詞元的更新幅度，使得模型的安全特性能更穩定、持久地保留，降低被攻擊者通過微調翻轉的風險。

此外，論文展現如何藉由將安全限制擴展至更多詞元（deepening safety alignment），顯著提升模型抵禦包括敵對後綴攻擊（adversarial suffix attacks）、預填詞攻擊（prefilling attacks）、解碼器參數漏洞攻擊（decoding parameter attacks）以及微調攻擊的魯棒性。這不僅是理論上的倡議，更提供明確的實作路徑與定量證據。

主要實驗結果

研究團隊首先針對多款市面主流 LLM，利用針對性攻擊策略驗證其安全調校深度。實驗結果明確顯示，絕大多數模型安全限制主要局限於前 3 到 5 個詞元，隨後生成部分安全限制迅速失效。模型在受到細微調整或改變解碼參數後，即可突破原有安全防線。

在採用他們所提出的正則化微調方法後，模型在面對各種攻擊手法時展現出明顯提升的安全性。例如，對抗後綴攻擊成功率下降超過 30%，微調攻擊下生成違規內容的比例亦大幅降低。實驗還指出，安全調校深入化不僅有效防禦攻擊，亦保持了模型原有的生成質量與多樣性，避免因過度抑制而影響用戶體驗。

對 AI 領域的深遠影響

這篇論文系統性揭示並量化了現階段 LLM 安全調校面臨的一個根本且前所未有的挑戰——淺層安全調校，提出了導致多種安全漏洞的內在機制。藉由將安全調校向生成過程的更深層次延伸，作者為大型語言模型領域提供了一條富有實踐意義的道路。

在實務層面，這項工作提醒研究者和產業界安全團隊，不應僅滿足於模型生成序列開頭的安全表現，而需全面考量整個生成過程的安全性，避免模型在後段內容生成階段被突破。未來的安全調校框架有望引入更多序列級的正則化約束、多階段監督信號，甚至動態調整機制，使安全策略更加穩健且難以攻破。

此外，本論文也啟發了對微調策略的新思考。常見的微調雖能改善模型特定任務表現，卻也可能卸載原有的安全保障。新型的正則化微調客觀函數為模型安全「持久化」提供可行方案，在提高安全性的同時維持適應性與靈活性，是未來值得推廣的重要方向。

綜合來看，此項研究不僅理論上豐富了我們對 LLM 安全調校的理解，且在技術層面為打造更安全、可靠的語言生成模型樹立了里程碑。對於正在積極推動 AI 安全與負責任 AI 發展的研究者及工程師而言，該論文是不可或缺的參考資源，且為未來推動多層次安全調校機制的設計與應用提供了堅實基礎。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946