Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)

隨著大型語言模型（Language Models, LMs）在自然語言生成任務上的廣泛應用，其產生創造性且多樣化內容的能力越來越受到關注。不過，近年來研究發現，語言模型在開放式生成任務中常面臨「模式崩潰」（mode collapse）問題，導致輸出內容同質化、缺乏多樣性，這也引發了對人類思維長期可能被同質化的隱憂。NeurIPS 2025 年獲得最佳論文的《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》一文，針對這個現象提出了系統性分析與全新大型資料集，為深入理解及改善語言模型的多樣性問題打下了堅實基礎。

研究背景與動機

伴隨 GPT 等模型的強大生成能力，過去的研究多專注於語言模型在特定、狹隘任務的準確性及流暢度，如填空、問答、隨機詞彙生成等。然而，真實世界用戶對模型的需求往往是「開放式的」，即問題本身具有高度多樣且無唯一正確答案，例如「給我幾個行銷點子」或「描述一個未來世界的場景」。此類任務要求模型不僅要保持合理性，更要提供豐富且多元的視角。但現有的評估資料集與方法，無法充分捕捉這種開放式問答的多樣性。因此，瞭解並量化語言模型在此類情境下的同質化現象，對保護人類思考的多元性、提升 AI 安全與可靠性，都有重要意義。

核心方法與創新

本論文創新的核心在於提出並發布了一個名為 Infinity-Chat 的大型開放式問答資料集，包含約 2.6 萬條用戶提問，均屬於真實世界的開放式對話場景，且每個問句均潛藏著多種合理回應，無單一標準答案。資料集更整合了高達 31,250 次人類註解，並確保每一例均有 25 位獨立評審，從不同角度評分模型輸出，兼具絕對分數和兩兩偏好比較，充分支援對語言模型輸出多樣性及偏好的細緻分析。

此外，論文創建了第一個全面的 開放式提示（open-ended prompts）分類法，將開放式問題劃分為六大類（如「腦力激盪與創意發想」等），進一步細分為 17 個子類別，這有助於系統化釐清各類開放式任務對模型多樣性的不同挑戰。

基於 Infinity-Chat 資料集，作者展開深入的「模式崩潰」研究，提出了「人工蜂巢效應（Artificial Hivemind）」概念：

• 模型內部重複性（intra-model repetition）：同一模型在不同採樣中往往生成風格或觀點類似的回應，表現出有限的生成多樣性。
• 模型間同質性（inter-model homogeneity）：不同模型之間產出的回答在內容與結構上異常接近，顯示多模型之間缺乏真正獨立的觀點。

這種蜂巢效應不僅凸顯了目前語言模型在開放式生成中「集體趨同」的風險，也對未來如何設計促進多樣化且人性化的生成策略提出了挑戰。

主要實驗結果

通過大量實驗，論文發現：

1. 在 26,000 條開放式提示上，不論是 GPT 系列、T5、BART 等主流模型，其輸出皆呈現明顯的模式崩潰，重複率高且多樣性不足。
2. 模型間相似度分析顯示，不同架構、訓練來源的模型生成結果在語義與風格層面出現驚人的重合，形成「人工蜂巢」結構，這代表今日公認的多樣化策略（如溫度調整、Top-k 採樣）仍無法打破集體同質化。
3. 配合31,250次人類評分數據顯示，雖然模型輸出整體品質達水準，但在面對「不同個體喜好分歧較大」的問題時，獎勵模型與自動判別器（LM judges）對人類偏好的辨識及匹配能力顯著下降，提示多樣化策略還應考慮個體化差異，而非追求單一客觀標準。
4. 分類法的細分類別分析揭露，創意性較強的任務（如點子生成）更易暴露模式崩潰問題，而資訊型或事實型問題則相對穩定，強調任務類型對模型生成策略的不同設計要求。

對 AI 領域的深遠影響

《Artificial Hivemind》論文的貢獻不僅在於提供了首個大規模、精細標註的開放式生成資料集，更在於系統性揭露了當前大型語言模型生成質量背後的結構性問題——即模型產生的內容存在嚴重的同質化與模式崩潰風險。這對 AI 安全研究尤其重要，因為假如未來語言模型主導資訊生態，可能導致思想單一化、創新能力受限與社會文化多樣性的減損。

此外，本論文提醒研究社群，追求模型生成結果的「多樣性」需從更全面的角度出發，不僅是技術層面的隨機性增強，更需設計能體現人類差異性喜好的個體化獎勵機制與評估系統。這也促使未來研究在語言模型外延能力（beyond language models）上，考慮多模型協作、模態多樣化及更強的上下文感知能力。

總體而言，Infinity-Chat 資料集及「人工蜂巢效應」的提出，將成為語言模型開放式生成多樣性研究的里程碑，不僅推動學術研究向更真實世界場景靠攏，也為商業應用設計更健全的 AI 使用框架鋪路。未來模型要在不放棄品質的前提下，突破同質化瓶頸，實現真正意義上的智能多元化，需要整個社群共同努力，這篇論文為此提供了不可或缺的基礎與指引。

---

論文資訊
📄 Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
👥 Jiang, Chai, Li, Liu, Fok, Dziri, Tsvetkov, Sap, Choi
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2510.22954