GPT-5、代理與幻覺：Black Hat 上的現實檢視

這段訪談由 Gary（應為 Gary Marcus）在 Black Hat 場次接受訪談，重點是對最近 GPT-5 發表的冷靜評估、LLM（大型語言模型）本質缺陷、代理（agents）與「vibe coding」帶來的資安風險，以及對未來 AI 路徑的技術與安全建議。

1. GPT-5 並非跳躍式進展：GPT-5 在多項基準上小幅提升，但並非所謂「AGI（通用人工智慧）」的巨大躍進；有重要基準（如 ARC/AGI 類）未超越最近的對手（例如 Grok 4）。總結：是漸進改良，不是革命性突破。

2. 幻覺（hallucination）仍是核心問題：Gary 回溯他2001年提出的觀察，說明神經網路使用的分散式表徵（embedding）會導致過度泛化，因此模型會「憑概率捏造事實」。即便信息可在維基或其他來源驗證，模型仍會在可查證事實上出錯或捏造（例如名人身世、事件細節、甚至程式行為）。

3. 代理與自動化寫碼的危險：當模型被賦予多步、自主行動能力（寫程式、下載並執行套件、搜尋網頁、整合外部代碼片段），每一步都會增加錯誤與攻擊面。現場展示與研究顯示 prompt injection、惡意範例或隱藏於註解/偏右欄位的代碼都能導致遠端程式碼執行（RCE）等嚴重資安事件。

4. Vibe coding 與自動安裝的誘惑：即便平台提供關閉 auto-install 等選項，使用者為了效率或貪快仍可能同意安裝不明套件或忽略提示。這使得開發流程充滿外部不信任代碼的引入，增加系統被滲透的風險。

5. LLM 是黑盒且非真正理解語意：Gary 強調 LLM 本質上像「強化版自動完成」，擅長統計預測，但不擅長穩健的抽象表示或可驗證的事實保存。把關鍵基礎設施或高風險任務交給目前的 LLM/代理，是把世界建立在「希望它正確」的黑盒上，而非可檢驗的白盒系統。

6. 對齊（alignment）與倫理指令尚未解決：簡單的系統提示（例如「不要捏造」、「寫安全的程式」）在實務中無法保證模型不犯錯；把不遵守規則的模型「解雇」在技術上不適用（不像人類員工可直接解雇）。長期的價值對齊、避免傷害等問題仍未取得實質進展。

7. 技術路徑與混合方法：純深度學習（大規模預訓練）面臨報酬遞減與本質性局限。Gary 建議結合符號（symbolic）方法與神經方法的混合架構，採用能提供可解釋性、可驗證性的白箱元件，來彌補 LLM 的盲點。

8. 對 AGI 時點的看法：沒原則性的阻礙使 AGI不可能，但以現有架構短期內（幾年）達成 AGI 的可能性不高。可能性範圍很廣：5 年、10 年或更長都有可能，且不確定性來自於「是否找到合適新架構」。

9. 實務建議與警示：Gary 最後提醒資安社群：prompt injection 與 agent 資安將成為重大、廣泛且特殊的攻擊面；對關鍵系統（電力、基礎設施、國防、醫療等）務必謹慎，避免讓不可靠代理擁有高自治權。要採取防護措施、審計代碼來源、限制自動安裝與加強人類監督。

總結：現階段 LLM 與代理帶來實用價值，但並非萬靈藥；它們的「幻覺」「過度泛化」「黑盒性」與由此衍生出的資安風險，要求我們在推動自動化與代理化的同時，投入更多在可驗證性、混合式架構與防護（尤其是對 prompt injection 與外部代碼來源）的工程與政策工作。切忌在關鍵領域過早放手讓當前 LLM 完全自治。