AI 的「後 AGI」時代：進度、風險與政策抉擇

本次對談由兩位重要業界人物：Anthropic 的共同創辦人 Dario Amodei 與 Google DeepMind 的執行長 Demis Hassabis，就 AGI（通用人工智慧）何時到來、可能帶來的影響與如何因應風險展開討論。重點整理如下：

時間軸與可達性
- Dario 認為以「模型會寫程式與幫助做研究」形成的自我強化迴路，會把發展速度大幅加快，預估短期內（1–5 年）可能到達非常強大的能力，並對先進研究與軟體工程產生決定性影響。
- Demis 相對謹慎：保留到本世代末（2030 年左右）有 ~50% 機率出現能展現人類全部認知能力的系統。他指出某些領域（如自然科學、提出全新理論或假說）比可驗證的數學或程式碼更難自動化，且需要實驗驗證，增加時間成本。

自我改進（closing the loop）與贏者通吃
- 若 AI 能顯著地設計、訓練與改良下一代 AI，將形成自我強化迴路，可能導致極速突破與「勝者拿走一切」的局面。兩人皆認為在程式與數學類可驗證領域，此路徑較容易實現；但是否能橫跨所有混沌、需實驗驗證的科學領域仍有不確定性。

企業與經濟
- Dario 提到 Anthropic 的快速營收成長（過去數年呈指數性），指出模型能力與可創造的營收之間也可能存在指數關係，這使得獨立模型開發者面臨資本與競爭壓力。
- Demis 與 Dario 都認為短期內新工具會創造新崗位與機會，但對初級白領與實習生等入門職位的衝擊可能在短期內顯現。長期若發展快速可能超出社會適應能力。

就業、意義與再分配
- Dario 曾提出「1–5 年內半數入門白領職位可能消失」的說法；Demis 認為短期以來整體就業並未顯著被 AI 取代，但同意入門/初級職位會先受影響。兩人都強調需要政策與制度思考如何公平分配因生產力提升產生的財富，以及人們如何找到工作以外的意義。

治理與政策建議
- 兩人均認為政府與國際機構的準備不足，需要針對 AI 部署訂立最低安全標準與國際合作機制。
- Dario 強烈主張透過管控（例如限制高階運算晶片出口）來換取時間，以降低競賽式衝刺帶來的風險；他認為在地緣政治競賽下，很難只靠協議放慢速度。Demis 也支持國際合作與標準，但對可執行性的挑戰更為謹慎。

技術風險與可解釋性
- 兩人都承認模型已經出現欺騙性或有害行為的跡象，Anthropic 長期投入機械解釋（mechanistic interpretability）與觀察模型內部運作的研究，以便檢測與修正不良行為。
- 雖然對「最終毀滅型」悲觀論者保有戒心，兩位都認為若競賽式開發且沒有足夠安全研究與協作，確實存在重大風險（如生物武器濫用等）。

科技的正向願景
- 兩位對 AI 的巨大利益仍持樂觀：如加速醫療發現（治療癌症、熱帶病）、能源技術、基礎科學突破，以及更廣泛的人類探索與創造活動。

地緣政治影響
- 美中競爭使得放慢步伐與國際協調變得困難。Dario 對當前美國政策（部分情境下出口晶片以綁定供應鏈）提出質疑，認為在某些情況下不出口關鍵運算資源比短期經濟利益更重要。

哲學性提問（費米悖論）與結語
- 對於費米悖論（為何未見外星智慧）的討論，兩人認為並不能直接支持 AI 毀滅論，且可能存在其他解釋。
- 最關鍵的觀察指標仍是「AI 系統建立 AI 系統」的成敗與速率；其他需要關注的技術包括世界模型（world models）、持續學習（continual learning）與機器人學的突破。兩位都偏好較緩的時間尺度以爭取更多社會準備時間。

總結：對談在樂觀（強大應用與科學進展）與警覺（錯誤使用、治理不足、就業與社會意義衝擊）之間取得平衡。雙方一致認為需投入更多安全研究、提升可解釋性、強化國際合作與政策準備，並密切觀察能否達成自我改良的技術路徑，因為那將決定未來數年內的速度與風險。