Obfuscated Gradients Give a False Sense of Security: Evaluating Defenses to Adversarial Examples 深度解析

隨著深度學習在影像辨識、語音辨識、自然語言處理等領域持續突破，對抗攻擊（Adversarial Examples）問題亦日益受到關注。這類由人為精心設計的輸入擾動，能夠使得原本性能優秀的模型產生嚴重判斷錯誤，對安全性要求高的系統造成巨大威脅。在此威脅情境下，許多研究致力設計防禦機制，希望提升模型對對抗樣本的魯棒性。然而，Carlini、Athalye 與 Wagner 在 2018 年 ICML 發表的經典論文《Obfuscated Gradients Give a False Sense of Security》卻指出了防禦設計中一項關鍵盲點 —— 「梯度混淆（Obfuscated Gradients）」，揭示許多所謂「有效」的防禦其實存在假安全感，且很容易被繞過。本文將深入剖析該篇論文的研究背景、核心方法、實驗結果及其對 AI 場域的深遠影響。

研究背景與動機

對抗樣本的攻擊多數是基於梯度資訊，攻擊者藉由反向傳播計算損失函數對輸入資料的梯度，並做微小調整使得模型輸出錯誤。為對抗攻擊，防禦策略往往設計成使得梯度不易取得或不穩定，企圖阻斷攻擊者獲得有效梯度資訊，這種策略稱為「梯度遮蔽（Gradient Masking）」。梯度遮蔽看似成功阻擋了透過梯度刻畫的迭代優化攻擊，但 Carlini 等人觀察到這種方式實際上可能創造「假安全感」，防禦模型表面上展現抵抗攻擊的能力，實則沒有真正提升模型的魯棒性。這種現象被論文定義為「梯度混淆（Obfuscated Gradients）」，代表模型的梯度被扭曲或不連續，導致攻擊方法難以優化，但依然有其他方式能繞過。

本論文的動機是系統性辨識並分類梯度混淆的類型，分析其對手攻擊防禦效果評估的影響，並且發展能對抗該類防禦的攻擊手法。透過嚴格的實驗驗證，以突破當時 ICML、ICLR 等會議上提出的多項聲稱安全的防禦方法，確認梯度混淆造成的「假安全」現象廣泛存在。

核心方法與創新

論文將梯度混淆現象分為三種類型：

• 隨機性產生的混淆（Stochastic Gradients）： 利用隨機化層或隨機化計算造成梯度的不穩定與高變異性，使得基於梯度的攻擊難以收斂。
• 消失或梯度截斷（Vanishing or Exploding Gradients）： 模型中存在不可微分或梯度為零的操作，令梯度缺失。
• 近似梯度 （Incorrect Backpropagation）： 使用對梯度做近似處理或非標準反向傳播手法，使得反向計算的梯度並非真實梯度。

針對以上三類梯度混淆，論文提出三種對應的攻擊策略：

1. 採樣多次並平均梯度： 可用以緩解隨機性引起的梯度不確定性，使梯度估計更穩定並誘導有效攻擊方向。
2. 使用分段平滑或近似可微函數代替不可微函數： 能恢復梯度訊息，避免梯度消失問題。
3. 利用隨梯度偽裝（Backward Pass Differentiable Approximation，BPDA）技巧： 在正向傳播時採用原始非微分函式，反向傳播時用可微近似函數，藉此繞過梯度混淆帶來的困境。

BPDA 是本論文中的重大創新之一，成為後續研究克服對抗防禦梯度障礙的基石工具。研究者利用此技巧在白盒攻擊情境下，成功生成有效的對抗樣本，極大地打破了許多現有防禦的安全主張。

主要實驗結果

作者以 ICLR 2018 年多項熱門的非證明式（non-certified）、白盒防禦方法為對象，發現 9 篇防禦論文中有 7 篇存在梯度混淆問題。在不修改原始威脅模型（threat model）的情況下，使用上述攻擊策略成功繞過這些防禦，其中對 6 篇實現完全攻破，另外 1 篇也部分成功。

實驗說明，這些防禦所謂的堅固性並非來自真正的模型魯棒性提升，而是由於梯度訊息失真或消失，使基於梯度的攻擊方法失效。然而，一旦使用論文提出的攻擊手段，能有效反向解析模型防禦層，進而突破防禦。

此外，論文也開發了多種針對梯度混淆不同面向的變種攻擊，例如結合隨機取樣、多梯度平均及近似反向傳播，結合迭代優化提升攻擊性能。大量實驗數據驗證，攻擊成功率明顯提升，防禦方失去其先前宣稱的安全優勢。

對 AI 領域的深遠影響

《Obfuscated Gradients Give a False Sense of Security》在 AI 對抗樣本和安全領域引起巨大震盪，成為防禦評估的分水嶺。其核心貢獻在於強調防禦機制必須真實提高模型魯棒性，而非透過梯度遮蔽創造假象，否則對抗樣本攻擊仍可輕易繞過。

此論文促使社群摸索更嚴謹、結構性且可驗證的防禦方法――如證明式魯棒性、防禦量化框架，並推動對抗攻擊與防禦研究邁向更高標準。它也影響後續防禦效果評估策略，強調必須考慮白盒攻擊與梯度估計技巧，避免被梯度混淆誤導。

在方法論層面，BPDA 技巧成為後續對抗攻擊研究的重要工具，許多後續研究沿用並擴展此思路，持續挑戰新興防禦方案的安全性。更廣泛而言，該論文提醒 AI 安全研究者，必須避免過度依賴「難度較高但並非不可逆」的梯度遮蔽手段，而需朝真正增強模型穩健性的路徑努力。

總結而言，Athalye、Carlini 與 Wagner 的這篇 ICML 2018 得獎論文深刻剖析了對抗防禦領域中的重大盲點，提出理論及實務雙重突破，其對該領域的影響持續擴散，不僅改變了防禦設計與評估的基本思維，也推動了人工智慧系統安全性的持續進步。

---

論文資訊
📄 Obfuscated Gradients Give a False Sense of Security: Evaluating Defenses to Adversarial Examples
👥 Athalye, Carlini, Wagner
🏆 ICML 2018 · Best Paper
🔗 arxiv.org/abs/1802.00420