行有餘力 則以學文

在機器學習與統計推論領域中，學習混合高斯分布（Gaussian Mixture Models, GMMs）是個核心且經典的問題。混合高斯模型廣泛應用於聚類、密度估計、異常檢測等多種任務，因為它能以簡潔的參數化方式捕捉多模態分佈的特性。然而，學習一個高維空間中多個高斯分佈的混合模...

在當前大數據與分散式系統快速發展的背景下，分散式優化問題逐漸成為機器學習及人工智慧領域中的核心議題。由於資料多半分布在不同節點（節點可以是感測器、伺服器或移動裝置等），如何在網路拓撲結構中以高效、低通訊成本且可靠的方式完成優化任務，成為系統性能與應用成敗的關鍵。特別是在處理不光...

在強化學習（Reinforcement Learning, RL）領域中，Q-learning 和價值迭代（Value Iteration）是基礎且廣泛使用的演算法。這些方法旨在透過與環境互動，學習最優策略以最大化長遠獎勵。然而，這些演算法在實際應用過程中，常見一個敏感且致命的...

在深度學習的領域中，神經網路的架構往往是以離散層（discrete layers）為基礎，層與層之間依序堆疊形成深層網路。然而，這類架構的設計在層數加深時，常常伴隨著計算成本與記憶體使用量大幅增加的問題，也使得網路表達受到層數離散化的限制。2018年由 Chen 等人所提出的 ...

在機器學習與統計推斷中，「適合度檢定」（goodness-of-fit test）是一項基本且重要的任務，目標是判斷觀測數據是否遵循某個假設模型分布。傳統的適合度檢定方法往往需要計算模型的正規化常數，或是處理樣本間所有兩兩距離的〈二次時間複雜度〉計算，導致在大規模數據及高維空間...

在人工智慧領域中，不完全資訊遊戲（imperfect-information games）的策略制定長期以來一直是一大挑戰。這類遊戲的關鍵特性是玩家無法完全觀察對手的行動或遊戲狀態，使得傳統基於完全資訊遊戲（perfect-information games）的方法難以直接套用...

在當前的大型語言模型（Large Language Models, LLMs）蓬勃發展的時代，一個顯著的經驗法則是模型規模越大，其表現通常越優秀，這稱為「神經擴展律（Neural Scaling Law）」。這種擴展律指出，模型的損失函數會隨著模型尺寸以冪次法則下降，然而這一現...