Augmenting Neural Networks with First-order Logic 讀書筆記

長久以來，嘗試要將 first order logic 嵌入 DNN 的各種研究一直沒有停過，也一直不斷的在推出新的嘗試。這篇2019的文章整理出三種目前的發展：

1. Artificial Neural Networks and Logic - knowledge distillation (Hinton et al., 2015)
2. Regularization with Logic - guide training neural networks
3. Learning with Structures - Constrained Conditional Model(this paper)

舉例偏 NLP 的應用，感覺很有潛力，但是好像沒有結合到最近很熱門的知識圖譜，測試的數據有稍比 benchmark 好上一點，但感覺上仍然是個練蠱練出來的結果。放個文首的圖，對 NLP 的 QA 任務算是不錯的說明。

詞嵌入無監督自然語言翻譯--臉書團隊的 MUSE 專案

在課堂上認識的 Ruben 兄目前正在進行自然語言翻譯的研究，提到了這個 MUSE

乍聽之下沒什麼特別的，動手把玩一下才知道很神奇的，因為我給它的是兩個單語詞嵌入辭典…

換句話說我沒告訴它 cat 跟"貓"的對應關係哦，這厲害了吧 XD

當《龍與地下城》被 AI 上身 -- 臨場發展冒險遊戲 aidungeon.io

原碼在 https://github.com/AIDungeon/AIDungeon

執行後的畫面有種古早 Hercules 顯示卡的既視感

廢文界的 deepfake -- textsynth.org

隨便打一段字，幫你接龍的網站，測試結果：

fastText 文本分類初探-- google colab 上執行為例

以下以中文出題的單選題為例來進行文本分類
首先掛載 google drive

import fasttext
from google.colab import drive
drive.mount('/content/drive')
train_data_file="/content/drive/My Drive/Colab Datasets/twmlestep2_train_clean.txt"
test_data_file_raw="/content/drive/My Drive/Colab Datasets/twmlestep2_test_clean.txt"

標記後的文本長得像這樣

Colab 環境的開門三件事(!)

說的是這篇 3 More Google Colab Environment Management Tips

總之 Colab 就是個 VM ，所以此文就是說它有辦法做到這三件事：

爆炸性成長的 GCN (圖卷積網路)

不過三年的時間，GCN 已經自成一個山頭，可以觀察知乎的話題，或是搜尋一下也可以知道每個月都有上百篇的中文討論出現這個關鍵字 GCN。再推薦幾篇：