行有餘力 則以學文

主成分分析（Principal Component Analysis，簡稱 PCA）是機器學習和信號處理領域中極為重要的降維技術。傳統 PCA 通常透過線性代數方法，例如特徵值分解（Eigendecomposition）或奇異值分解（SVD）來求解。然而，隨著資料規模急遽膨脹與...

在自然語言處理（NLP）領域，Transformer 架構自 2017 年問世後迅速成為標準模型，並引領諸多突破。然而，在電腦視覺（CV）領域，Transformer 的應用則顯得較為受限，普遍還是以卷積神經網絡（CNN）為主體。大部分嘗試都是在 CNN 架構中加入注意力機制（...

在自然語言處理（NLP）領域中，語言的層次結構一直是理解語意與句法的關鍵。傳統的遞迴神經網路（RNN）如LSTM雖然具備序列建模能力，但對於捕捉語言中深層的階層結構依然存在不足。這促使研究者尋找更有效地將層次（樹狀）結構嵌入序列模型的方法。2019年於ICLR發表的論文《Ord...

在深度學習蓬勃發展的過程中，隨著模型規模不斷擴張，如何提升訓練與推論的效率，減少模型的參數數量，成為業界與學術界重要且迫切的問題。過去的研究多透過「稀疏化」與「剪枝」(pruning) 技術，將訓練完成的神經網路中權重較小或不重要的連結移除，使模型在保持相近準確度的同時，大幅縮...

在人工智慧（AI）領域中，讓智能體能夠在非靜態且競爭激烈的環境中持續學習與適應，是邁向通用人工智慧的重要挑戰。傳統的強化學習及監督式學習方法常常假設環境是靜態且獨立的，當環境條件快速變化或有其他智慧體同時互動時，這些方法往往表現受限。2018 年於 ICLR 發表並獲頒最佳論文...

在深度學習的領域中，卷積神經網路（Convolutional Neural Networks, CNNs）因其在圖像處理任務上的卓越表現，成為了計算機視覺的核心技術。然而，傳統 CNNs 是基於平面歐式幾何空間設計的，對於球面資料（如全景影像、天文圖像或地球科學資料）卻無法有效...

在現代深度學習領域，優化演算法扮演了核心角色，尤其是在訓練大型神經網絡時，能否高效率且穩定地收斂直接影響模型表現與訓練成本。自從Adam（Adaptive Moment Estimation）優化器於2015年被提出後，因其自動調節學習率及優異的適應性，迅速成為最受歡迎的優化方...