Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域展現出突破性的能力，其在實際應用中面臨的安全性問題也日益突顯。這波研究由 Qi 等學者在 ICLR 2025 發表的論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》，獲得傑出論文獎，揭露了現階段 LLM 安全對齊（Safety Alignment）存在的一個關鍵但被忽略的漏洞：安全對齊其實只「淺」地應用於生成文本的頭幾個詞元，導致模型易受到各種攻擊與繞過。本文將系統性地介紹該論文的研究背景、核心創新方法、實驗驗證，及其對 AI 安全研究的長遠意義。

研究背景與動機

隨著 LLMs 被廣泛部署於聊天機器人、輔助寫作等多領域，如何確保模型輸出符合人類價值與安全標準（簡稱安全對齊）成為焦點。目前主流的安全對齊技術多依賴微調或強化學習（如 RLHF），來引導模型避開有害語言與內容。然則，現有研究及實驗發現，即使是經過對齊的模型，仍極易被相對簡單的攻擊手法（例如詞彙後綴插入、解碼參數調整等）「越獄」（jailbreak），進而輸出危險或偏差內容。

本文提出，一個核心原因在於安全對齊往往只調整了模型的前幾個輸出詞元的機率分布，而對於生成序列中較後方的詞元缺乏足夠影響，導致模型在後續產生易被利用的「漏洞」，此即所謂的「淺層安全對齊」（shallow safety alignment）。這種對齊策略相當於只改變初期生成行為，忽視整段文本的連續性與一致性，使得安全性容易被攻擊者穿透。

核心方法與創新

論文深入闡述了淺層安全對齊存在的機制與實際案例，並從理論與實驗面驗證其普遍性。研究團隊首先通過案例分析揭示，多數現有的安全對齊策略，無論是預訓練後的微調還是解碼策略改變，都傾向於在生成過程的開頭幾個 token 上施加強烈約束，但對後續輸出權重調整不足，導致模型能在生成文字稍後階段表現出原始（未對齊）行為。

基於此觀察，作者提出了將安全對齊「加深」的概念，即不僅在生成初期，而是遍及整段文本的多個詞元階段，強化安全控制。具體技術上，本論文設計了一種正則化微調目標函數，在保持原本對齊約束的同時，加入限制模型對初期及後續 token 預測分布改動的條件，使對齊的影響可在序列整體更持久且穩固地發揮作用。

此外，研究團隊也評估了多種攻擊向量（如 adversarial suffix attacks、prefilling attacks、decoding parameter attacks 以及 fine-tuning attacks）下模型的脆弱性，並通過改進的微調技術展示如何在保持語言生成品質的前提下，有效減緩此類安全漏洞。

主要實驗結果

實驗部分作者以目前主流的 LLM 作為基礎模型，對比傳統僅在前幾 token 做安全對齊的模型，與新提出「深層安全對齊」模型在多種攻擊場景下的表現。結果清楚展現：

• 淺層安全對齊模型在面臨 adversarial suffix attack（惡意後綴攻擊）時，模型容易被誘導輸出危險內容；
• 相較之下，深層安全對齊模型對這類後綴攻擊展現出更高的魯棒性，攻擊成功率明顯降低；
• 在 prefilling attack 與 decoding parameter manipulation（解碼參數操作）情境下，新方法同樣提升了模型的抵抗力，避免過早放鬆安全約束；
• 針對 fine-tuning attack（微調攻擊），引入正則化微調目標後，模型在持續微調過程中仍保持較好的安全對齊特性，降低了對齊被逆轉的風險。

此外，作者分析了新方法對模型生成質量及多樣性的潛在影響，發現改進後的安全對齊方法並未明顯犧牲語言自然度與創造力，兼具安全性與實用性。

對 AI 領域的深遠影響

此篇論文在 LLM 安全對齊研究領域提出了全新的視角——安全策略不可只著墨於生成文本的開頭，而必須「深度」滲透模型生成序列的整體。這不只揭露了過去安全設計的一大漏洞，也為未來確保 LLM 長文本持久且穩健的安全行為提供了方向。從工程實踐角度看，此研究強調了對齊技術需重新思考「對齊深度」的參數，挑戰了現有主流微調與強化學習方案的根基。

更重要的是，該論文將多種已知攻擊類型統整於同一「淺層安全對齊」脆弱點的框架下，使得對抗研究不再孤立，促進多攻擊路徑的跨領域防禦策略融合。研究團隊所提出的正則化微調方法，為未來開發更安全可控的 LLM 打下了理論與實務基礎，對推動 AI 技術在醫療、金融、政府機構等需要極高安全性的敏感應用扮演關鍵推手。

綜合來看，Qi 等人在本論文中不只是揭露問題，更帶來了創新的對策，為提升人工智慧系統的社會可接受度與可信度指明重要一環。未來相關研究可進一步擴展「對齊深度」的量化標準，並結合更複雜的生成架構與多模態模型，持續加強 AI 安全防護的全面性與持久性。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946