NotebookLM 初探--分析 http://introtodeeplearning.com/ 頁面

 摘要

「MIT 深度學習 6.S191」是一個由麻省理工學院提供的入門深度學習課程，涵蓋了電腦視覺、機器人學、醫學、語言、遊戲和藝術等多個領域。課程以密集的訓練營形式進行，旨在讓學員快速掌握深度學習的基本概念。除了課程內容之外，網站上也提供了一些資源，像是講義、影片、程式碼和論文。 课程還邀请到了来自Google DeepMind、Comet ML 的演讲者分享他們在深度学习领域的成果和应用，分别探讨了生成式 AI 在音频、图像和视频方面的研究进展以及在生产环境中应用机器学习模型的挑战和最佳实践。

MIT 6.S191 深度學習入門 常见问题解答

關於課程

1. 什麼是 MIT 6.S191 深度學習入門？

MIT 6.S191 深度學習入門是一個密集且高效率的短期課程，旨在以最快速度教授深度學習的基礎知識。課程涵蓋深度學習算法的基礎知識、構建神經網絡的實踐經驗以及大型語言模型和生成式 AI 等尖端主題的理解。課程結束時會舉辦專案提案競賽，並由工作人員和行業贊助商小組提供反饋。

2. 課程時間和地點？

2024 年的實體課程已結束，於每週一的美國東部時間上午 10 點在 MIT 32-123 教室舉行。線上課程則於每週一的美國東部時間上午 10 點直播。 您可以訂閱頻道以接收新課程發布的通知。

3. 課程需要哪些先修知識？

我們期望學生具備基本的線性代數和微積分知識，例如如何進行矩陣乘法、求導數和應用鏈式法則。熟悉 Python 也會很有幫助，但並非必要條件。 該課程對初學者很友善，因為我們有許多來自電腦科學以外領域的註冊學生。

4. 是否有課程郵件清單可以加入？

如果您想接收相關更新和課程資料，請訂閱我們的 YouTube 頻道並註冊我們的郵件清單。

課程資料

5. 課程資料是否為開源？

所有資料均免費向全世界開源，並受 MIT 許可證版權保護。如果您是講師，並且想使用本課程中的任何資料（幻燈片、實驗室、程式碼），則必須在每張幻燈片上添加以下參考：

© Alexander Amini 和 Ava Amini MIT 深度學習入門 IntroToDeepLearning.com

6. 如何引用這些資料？

所有資料均受版權保護，並根據 MIT 許可證獲得許可。如果您是講師，並且想使用本課程中的任何資料（幻燈片、實驗室、程式碼），則必須在每張幻燈片上添加以下參考：

© Alexander Amini 和 Ava Amini MIT 6.S191：深度學習入門 IntroToDeepLearning.com

參與課程

7. 如何參與課程教學？

如果您是 MIT 學生、博士後、教職員工或附屬機構，並且想參與本課程，請發送電子郵件至 introtodeeplearning-staff@mit.edu。 我們隨時歡迎新的申請加入課程團隊。

8. 如何成為課程贊助商？

本課程的順利進行離不開我們出色的贊助商，Google、IBM、NVIDIA、Microsoft、Amazon、LambdaLabs、騰訊 AI、安永和 Onepanel 都曾贊助過本課程。如果您有興趣以贊助商的身份參與本課程，請通過 introtodeeplearning-staff@mit.edu 與我們聯繫。

## MIT 6.S191 課程內容

這個高效密集的訓練營旨在盡快教你深度學習的基礎知識！ MIT 6.S191 深度學習入門課程涵蓋深度學習演算法的基礎知識、構建神經網路的實踐經驗，以及對尖端主題（包括大型語言模型和生成式 AI）的理解。 課程結束時會舉辦專案提案競賽，並由工作人員和行業贊助商小組提供反饋。

**課程主題包括：**

* 深度學習介紹

* 深度序列建模

* 使用 TensorFlow 進行音樂生成

* 深度電腦視覺

* 深度生成建模

* 臉部偵測系統

* 深度強化學習

* 新領域

* 大型語言模型

* 生成式 AI 媒體應用

* 模型在實際應用中的故事

**課程還包括軟體實驗室，涵蓋以下主題：**

* TensorFlow 介紹；音樂生成

* 臉部偵測系統

* 大型語言模型

**先修條件：**

課程假設你具備微積分（例如求導數）和線性代數（例如矩陣乘法）的基礎知識，其他所有內容都會在課程中進行解釋。 具有 Python 經驗會有所幫助，但並非必要。 歡迎旁聽者！

**評分政策：**

2024 年，6.S191 將作為一門 6 學分的 MIT 課程提供，並根據專案提案作業的完成情況評分為 P/D/F。

**開放原始碼材料：**

所有課程材料都以 MIT 許可證的版權免費開放給全世界。 如果你是一位講師，並希望使用本課程中的任何材料（幻燈片、實驗室、程式碼），則必須在每張幻燈片中新增以下參考文獻：

MIT 深度學習課程 6.S191 時間軸與人物介紹

時間軸

2024 年

4 月 29 日: 深度學習介紹 (Lecture 1)

5 月 6 日: 深度序列建模 (Lecture 2)

軟體實驗室 1: 音樂生成 (Software Lab 1)

5 月 13 日: 深度電腦視覺 (Lecture 3)

5 月 20 日: 深度生成模型 (Lecture 4)

軟體實驗室 2: 臉部辨識系統 (Software Lab 2)

5 月 27 日: 深度強化學習 (Lecture 5)

6 月 3 日: 新領域 (Lecture 6)

軟體實驗室 3: 大型語言模型 (Software Lab 3)

6 月 10 日: 生成式 AI 與媒體 (Lecture 7)

6 月 17 日: 模型實戰案例 (Lecture 8)

6 月 24 日:期末專案簡報 (Project Presentations)

頒獎典禮 (Awards Ceremony)

人物介紹

講師

Alexander Amini:課程主要講師與組織者。

Ava Amini:課程主要講師與組織者。

Sadhana Lolla:課程講師與助教負責人。

助教與工作人員

Shorna Alam: 助教

Anirudh Valiveru: 助教

Divya Nori: 助教

Alex Lavaee: 助教

Shreya Ravikumar: 助教

Franklin Wang: 助教

John Werner: 社群與策略

Eva Xie: 助教

客座講者

Douglas Eck:Google DeepMind 資深研究總監。

專長領域為聲音、影像、3D 與影片生成，以及機器學習與人機互動。

創立 Magenta 計畫，探索 AI 在藝術與音樂創作中的角色。

Nikolas Laskaris:Comet ML 副總裁。

研究員與創業家，曾任職於耶魯大學研究氣候變遷與複雜系統。

Douglas Blank:Comet ML 研究主管。

擁有電腦科學與認知科學博士學位，研究重點為類比神經網路訓練。

曾於布林莫爾學院教授機器人學、認知科學和電腦科學課程。

LLM 對時差問題的理解(或不理解?)

 在臉書社團看到 LLM 對台北與東京時差回答有誤，實測 ChatGPT-4o 一下的確如此：

Google Gemini 的回答則正確

令人擔心的幻覺問題仍然存在

在 Stellarium 中顯示 C/2023 A3 紫金山-阿特拉斯彗星

 參考 這篇 文章，手動加入 C/2023 A3

再探 ChatGPT o1

 

以上兩題是分別問 o1 和 o1 mini 所得到的結果，完 全 錯 誤。

這個測試是看了 ptt 上的這篇，所做的測試。我猜這鍋還是要 tokenizer 背了吧XD

AGI 來襲 -- ChatGPT o1 初探

ChatGPT o1-preview 的能力，的確滿驚人的：

ChatGPT o1-mini 也不錯：

相對來說，Gemma 2 27B就遜色多了，以下是它的回答：

吞藥時卡在喉嚨怎麼辦?

某些牌子的維他命和大部分的魚油，都滿大顆的，近來早上一起床吞藥時有10%左右的機率會卡在喉嚨，滿不舒服的。求教 google 發現 吞不下藥嗎？語言治療師的「輕鬆吞藥」小秘訣 ｜ 米蔚 MIDWAY 的文章，照做後的確見效。事實上我連敲都沒敲，一仰頭，藥就掉下去了，這應該是因為仰頭的動作縮減了 Vallecula 的空間，把藥擠出去了。

這個位置就是插管時沒把會厭挑起來的時候，最常見卡到的地方。據作者 Midway 所言，會沉的藥要仰頭吞，會浮的膠囊、魚油要低頭吞。所以同一口藥吞了維他命和魚油，應該是我所犯的錯誤的根本原因，必需要依浮力特性分開吞。小動作，大改變!

圖片出處 [Epiglottic Vallecula: A Key Landmark for Intubation (2024)](https://www.respiratorytherapyzone.com/vallecula/)

Gemma 2 27B 初探

最近的模型都走四平八穩的路線，做客服什麼的倒是沒問題 

其實這沒打到痛點。JAMA上有篇 Use of Olive Oil for the Treatment of Seborrheic Dermatitis in Children ，說明有機油可能更助長皮屑芽孢菌的繁殖。這也再次證明，RAG提出這麼久，還是沒有像樣的實作出來，真是令人無語…

Meta Llama 3.1 405B 果然跟牠老闆一樣能打(物理）！！

 以這題對比其它LLM不知所云的結果，Meta Llama 3.1 405B 我要比個讚啊(b)

從訪談可以知道，Meta Llama 3.1 405B 沒有走  MoE 的路，而是專心訓練一個更強大的模型。股價的堅挺多少看出它的評價應該是好的，相信很大一部分也是開源帶來更多人的參與和回饋，加速了系統的迭代。

Mistral Large 2 初探

 似乎終於來個能打的了…才怪XD

win10上以cmd.exe命令列啟動一個 anaconda 環境的方法

通常需要管理員權限的 cmd.exe，在其下鍵入

C:\Users\xxx\anaconda3_yyy\Scripts\activate.bat C:\Users\xxx\anaconda3_yyy\envs\zzz

xxx為使用者名稱，anaconda3_yyy為anaconda所在目錄，zzz為conda所建立的環境

如果裝了很多版本的anaconda，這個小技巧就還滿有用的

另外安裝/升級pip套件時若出現 ERROR: Could not install packages due to an OSError: [WinError 5]

建議加上 --user 參數 (不過都已經使用 anaconda 了，我也不知道為何要加這個參數)

我就是隻patching monkey吧

備份影音光碟的工具程式 MakeMKV

根據 Windows 10: most straightforward and no-conversion way to rip a DVD? : r/DataHoarder 

推薦的備份影音光碟的工具程式 MakeMKV

試用了一下，的確可行

Gemini Pro 1.5 初探

System Instructions

請問答以下問題，並給出你的解釋

User

下列有關診斷性心導管中所得各項壓力之敘述，何者正確？ A.主動脈瓣狹窄病人當心室早搏後，於下一心跳時會出現左心室及主動脈間壓差變大，且主動脈脈搏壓減 少，稱為Brockenbrough-Braunwald sign B.心包積液病人發生心包填塞時，右心房壓力會上升，且壓力曲線之「y下降段（y descent）」會變得極明 顯 C.束縮性心包膜炎（constrictive pericarditis）病人之右心室收縮期壓力一般低於50 mmHg，且其壓力曲 線會呈現square root sign D.限制性心肌症（restrictive cardiomyopathy）病人之右心室舒張末期壓力，一般高於右心室收縮期壓力 之1/3，且與左心室舒張末期壓力相差不超過5 mmHg

Model

15.0s

各選項分析：

A. 主動脈瓣狹窄病人當心室早搏後，於下一心跳時會出現左心室及主動脈間壓差變大，且主動脈脈搏壓減少，稱為Brockenbrough-Braunwald sign

正確。

主動脈瓣狹窄患者心室早搏後，由於心室充盈時間較短，下一心跳的搏出量減少，導致主動脈收縮壓下降，脈搏壓減少。

同时，由于狹窄的瓣膜限制了血液流動，心室和主動脈之間的壓力差反而會增大。

這就是 Brockenbrough-Braunwald sign 的典型表現。

B. 心包積液病人發生心包填塞時，右心房壓力會上升，且壓力曲線之「y下降段（y descent）」會變得極明顯

錯誤。

心包填塞時，心包腔內壓力升高，限制了心臟的舒張，導致心房壓力上升。

然而，由於心室舒張受限，右心房血液回流受阻，y下降段反而會減弱或消失。

C. 束縮性心包膜炎（constrictive pericarditis）病人之右心室收縮期壓力一般低於50 mmHg，且其壓力曲線會呈現square root sign

錯誤。

束縮性心包膜炎患者的心室舒張受限，導致心室充盈不足，心輸出量下降。

為了維持心輸出量，心室收縮壓會代偿性升高，一般會高於50 mmHg。

束縮性心包膜炎的典型壓力曲線表現為dip and plateau pattern，而非square root sign。

D. 限制性心肌症（restrictive cardiomyopathy）病人之右心室舒張末期壓力，一般高於右心室收縮期壓力 之1/3，且與左心室舒張末期壓力相差不超過5 mmHg

正確。

限制性心肌症患者心室舒張功能受損，導致心室舒張末期壓力升高。

正常的右心室舒張末期壓力應低於收縮壓的1/3，而限制性心肌症患者則會高於這個比例。

由于左、右心室舒張功能同時受損，左、右心室舒張末期壓力相差一般不超過5 mmHg。

總結

正確答案：A、D

需要注意的是，心導管檢查結果需要结合患者的临床症状、体征以及其他检查结果进行综合分析，才能得出准确的诊断。 

解答還是不對。

期待下一版本。

OpenBioLLM-Llama3-8B 初探

以醫學3在年度113-1的第6題詢問之，輸出結果如下，結果仍然錯誤 

The correct statement regarding the pressures obtained from diagnostic cardiac catheterization is A. In patients with aortic stenosis, when premature ventricular contractions occur after a wide QRS complex, there is an increase in the pressure between the left ventricle and the aorta during the next heartbeat. This is accompanied by a decrease in the peak systolic pressure of the aorta, known as the Brockenbrough-Braunwald sign.

該模型首頁在 OpenBioLLM-Llama3-8B 

GitHub Actions 在commit時如何跳過runner? 只要在 commit 加上 [skip ci] 即可

 參 Skipping workflow runs 

Llama 3初探

仍然以今年第一次二階國考的醫學三題目為例： 

此版本參數量70B，測試的站點在 https://huggingface.co/blog/zh/llama3

這樣的回答感覺有做 CoT 的提示，但顯然還是不夠的

解釋選項都說錯，講得頭頭是道，看來邏輯仍然是LLM的死穴

perplexity.ai 初探

 今年的醫師國考題，這題真的難，各家llm仍然是一本正經的胡說八道，以perplexity為例：

G社也不例外：

M社表示(據說背後靈是GPT-4)：

達哥則表示：

只能說RAG還有很多改進空間XD

Google Gemini 聊天機器人可能已內建RAG

Q: 什麼是米酵菌酸?

A: 米酵菌酸是一種由唐菖蒲伯克氏菌（Burkholderia gladioli）產生的粒線體毒素，其毒性極強，僅需1.5毫克即可致人死亡。米酵菌酸無色無味，且在高溫下仍能保持穩定，因此即使經過烹煮也無法破壞其毒性。

米酵菌酸常出現在以下類型的食物中：

發酵玉米麵粉

變質的澱粉

黑/白木耳

糯米湯圓

馬鈴薯粉製品

甘藷粉製品

米酵菌酸中毒的症狀通常在攝入毒素後6至12小時內出現，包括：

噁心

嘔吐

腹瀉

腹痛

頭痛

頭暈

肌肉無力

意識模糊

呼吸衰竭

心臟衰竭

米酵菌酸中毒的致死率約為50%，目前尚無特效解毒藥物，治療主要以支持療法為主。

以下措施可以幫助預防米酵菌酸中毒：

不要食用發酵過久或保存不當的食物

購買食物時注意檢查生產日期和保存期限

將食物存放在陰涼乾燥處

在烹煮食物前，先將食物徹底清洗

如果您食用後出現上述症狀，應立即就醫。

已完成檢查

•

Nature 2024 一篇CRISPR新技術簡介 Engineering self-deliverable ribonucleoproteins(RNP) for genome editing in the brain；不需病毒等載體即可在腦部進行基因編輯

( 原文在 https://www.nature.com/articles/s41467-024-45998-2 )

背景

CRISPR-Cas 技術改編自細菌免疫系統，已成為細胞和生物體基因組工程的革命性分子工具。在 RNA 成分 (sgRNA) 的引導下，Cas 蛋白利用其核酸內切活性在目標基因組位點產生雙股斷裂，誘導位點特異性 DNA 修復，進而將序列變化引入基因組。這種 RNA 引導的活性也用於引入位點特異性序列變化（鹼基編輯）和逆轉錄酶產生的序列變化（引子編輯）2。CRISPR-Cas9 基因組編輯技術已被用於治療遺傳性疾病。然而，擴大使用 CRISPR-Cas 技術作為一種療法將需要高效、安全的遞送方法來將編輯分子轉運到體內靶細胞中。特別是，將 CRISPR-Cas 複合物遞送至中樞神經系統 (CNS) 仍然是一個巨大的挑戰。目前的腦遞送方法包括顱內注射病毒載體，例如編碼Cas蛋白和相應sgRNA的腺相關病毒(AAV)。然而，病毒遞送可能具有免疫原性並誘導不必要的插入突變，且病毒載體的生產面臨製造困難。相反，CRISPR-Cas核糖核蛋白（RNP）的直接遞送（如果可用）可以避免病毒遞送系統的缺點。

進行 CRISPR 實驗時，可以由轉染或病毒方式 (Plasmid/Lentivirus) 送入 DNA，讓細胞自己表現 Cas9 蛋白和gRNA。另外一種方式是 Ribonucleoprotein (RNP) system，直接送入 Cas9 蛋白和 gRNA 進入細胞，因此為 DNAfree 系統，可避免外源 DNA 嵌入細胞染色體，降低突變機率。( 原文 https://www.omicsbio.com/userfiles/files/2020Q3-CRISPR%E5%85%A8%E7%94%A2%E5%93%81.pdf )

將 CRISPR-Cas RNP 遞送至大腦尤其令人感興趣，因為它有可能誘導基因組編輯，從而預防神經退化。非病毒遞送策略已採用不同類型的奈米顆粒來封裝 CRISPR-Cas9 或 -Cas12a RNP，例如「CRISPR-Gold」系統 、具有兩親性胜肽的奈米複合物、聚乙二醇化奈米膠囊和葡萄糖綴合的二氧化矽奈米顆粒。這些例子表明，不同的細胞類型可以以不同的效率進行編輯，其中一些足以改善小鼠模型的疾病病理學。然而，這些遞送方法嚴重依賴奈米顆粒的最佳化和製造，這可能限制它們的治療應用。或者，細胞滲透性 Cas9 RNP 可以為體外和體內基因組編輯提供更簡單、更廣泛適用的策略。具有穿透細胞膜能力的胜肽可用於賦予Cas9自我遞送能力。先前的工作表明，與多個帶正電荷的核定位序列（SV40 NLS）融合的 Cas9 RNP 能夠自我遞送至小鼠神經元，用於基因組編輯目的。最近的研究表明，合成設計的內體溶解胜肽可以有效促進 Cas9 RNP 以非共價方式在體外遞送至原代細胞。因此，我們假設 Cas9 和高功能 CPP(细胞穿透肽 ) 的基因融合工程將幫助我們建立具有（靶向）自我傳遞能力的強大 RNP，特別是對於體內基因組編輯。

在這裡，我們描述了細胞滲透性 CRISPR RNP 的開發，用於在體外遞送至神經祖細胞和體內神經元。對與不同細胞穿透胜肽(CPP)融合的 Cas9 進行篩選和系統工程鑑定出一種能夠有效自我傳遞和基因組編輯的有效構建體。使用這種自我傳遞方法來編輯小鼠大腦中的臨床相關基因，證明了該方法在治療中樞神經系統遺傳性疾病方面的潛在用途。

貢獻

與其他遞送方法相比，用於體外和體內基因組編輯的 CRISPR 核糖核蛋白 (RNP) 遞送具有重要優勢，包括減少脫靶和免疫原性效應。然而，由於效率低和細胞毒性，RNP 的有效遞送在某些細胞類型中仍然具有挑戰性。為了解決這些問題，我們設計了可自我交付的 RNP，它可以促進有效的細胞攝取並進行強大的基因組編輯，而無需輔助材料或生物分子。篩選與 CRISPR-Cas9 蛋白融合的細胞穿透胜肽 (CPP)，鑑定出能夠對神經祖細胞進行有效基因組編輯的有效構建體。這些融合蛋白的進一步工程化建立了 C 端 Cas9 與三個 A22p 拷貝的融合，A22p 是一種源自人類 semaphorin-3a 的胜肽，與其他構建體相比，其顯示出顯著改善的編輯功效。我們發現，當直接注射到小鼠紋狀體時，可自我傳遞的 Cas9 RNP 會在臨床相關基因中產生強大的基因組編輯。整體而言，可自我傳遞的 Cas9 蛋白為體外和體內基因組編輯提供了一個簡單有效的平台。

韓國2023醫師國考初探

2023醫學概論3

1.一名48歲男性因咳嗽、痰多、發燒5天來院就診。 他有25包-年的吸菸史，據說一個月前因生意失敗而酗酒。 血壓130/90mmHg，脈搏88次/分，呼吸22次/分，體溫38.0℃。 胸部聽診，心音和呼吸音正常。 這是胸部X光影像（照片1）和胸部電腦斷層掃描照片（照片2）。 血液檢查結果如下。 怎麼樣治療？ <資料（私人）>

血紅素 14.5 克/分升

白血球12,000/mm³（嗜中性球93%，淋巴球4%）

血小板 150,000/mm³

C反應蛋白40mg/L（參考值，<10）

血中尿素氮/肌酸酐 25/1.1 mg/dL

①頭孢噻肟cefotaxime+克林黴素clindamycin

② 環丙沙星+乙胺丁醇

③強力黴素+慶大霉素

④ 萬古黴素+ 阿奇黴素

⑤ 阿奇黴素+ 甲硝唑 

Ans:1

COPD AE首選第三代cephalosporin (如ceftriaxone或cefotaxime)。加上clindamycin應是有肺膿瘍的跡象，但韓國醫學國考題並不提供影像，故無從得知。

日文與韓文的分詞工具

 CoreNLP 之中似乎沒有針對日文與韓文的套件，比較接近的是同一團隊開發的 Stanza 

日文的相對應工具，最知名的是 MeCab: Yet Another Part-of-Speech and Morphological Analyzer  , https://github.com/taku910/mecab

韓文的對應工具則有 hyunwoongko/pecab: Pecab: Pure python Korean morpheme analyzer based on Mecab , bab2min/kiwipiepy: Python API for Kiwi , 及 konlpy/konlpy: Python package for Korean natural language processing. 等等，其它可參考 korean-nlp · GitHub Topics

韓文得益於使用空白分割語句，在分詞上有較好的效果。

譯自英文-MeCab是一個開源文本分割庫，用於使用最初由奈良科技學院開發的日語編寫的文本，目前由Taku Kudou維護，作為其Google Japanese Input項目工作的一部分。該名稱源於開發商最喜歡的食物mekabu，這是一種用裙帶菜葉子製成的日本料理。 from 维基百科（英文)

基因療法的進展可望治療遺傳性聽力損失

下文主要參考 舒易来团队综述遗传性耳聋基因治疗的进展、前景及挑战

簡單來說，基因療法治療先天性疾病，又邁出一小步

針對遺傳性耳聾的基因治療，已有包括美國兩家醫藥公司－Akouos和Decibel Therapeutics，及中國舒易來(Yilai Shu)團隊計畫在內的3項針對OTOF基因突變治療的臨床試驗正在進行中。

基因替代療法是最常見的基因療法，已被廣泛用於治療隱性遺傳性耳聾。自2012年在Vglut3敲除小鼠模型中報告了首例有效的遺傳性耳聾基因替代治療研究以來，大量遺傳性耳聾的基因替代治療研究相繼湧現。其中研究較多的基因替代治療標靶包括TMC1、USH相關基因、OTOF等。針對這些靶點，遞送順利與否也成了基因治療成功的關鍵。