2024年11月3日 星期日

NotebookLM 初探--分析 http://introtodeeplearning.com/ 頁面

 摘要

「MIT 深度學習 6.S191」是一個由麻省理工學院提供的入門深度學習課程,涵蓋了電腦視覺、機器人學、醫學、語言、遊戲和藝術等多個領域。課程以密集的訓練營形式進行,旨在讓學員快速掌握深度學習的基本概念。除了課程內容之外,網站上也提供了一些資源,像是講義、影片、程式碼和論文。 课程還邀请到了来自Google DeepMind、Comet ML 的演讲者分享他們在深度学习领域的成果和应用,分别探讨了生成式 AI 在音频、图像和视频方面的研究进展以及在生产环境中应用机器学习模型的挑战和最佳实践。

MIT 6.S191 深度學習入門 常见问题解答

關於課程

1. 什麼是 MIT 6.S191 深度學習入門?


MIT 6.S191 深度學習入門是一個密集且高效率的短期課程,旨在以最快速度教授深度學習的基礎知識。課程涵蓋深度學習算法的基礎知識、構建神經網絡的實踐經驗以及大型語言模型和生成式 AI 等尖端主題的理解。課程結束時會舉辦專案提案競賽,並由工作人員和行業贊助商小組提供反饋。


2. 課程時間和地點?


2024 年的實體課程已結束,於每週一的美國東部時間上午 10 點在 MIT 32-123 教室舉行。線上課程則於每週一的美國東部時間上午 10 點直播。 您可以訂閱頻道以接收新課程發布的通知。


3. 課程需要哪些先修知識?


我們期望學生具備基本的線性代數和微積分知識,例如如何進行矩陣乘法、求導數和應用鏈式法則。熟悉 Python 也會很有幫助,但並非必要條件。 該課程對初學者很友善,因為我們有許多來自電腦科學以外領域的註冊學生。


4. 是否有課程郵件清單可以加入?


如果您想接收相關更新和課程資料,請訂閱我們的 YouTube 頻道並註冊我們的郵件清單。


課程資料

5. 課程資料是否為開源?


所有資料均免費向全世界開源,並受 MIT 許可證版權保護。如果您是講師,並且想使用本課程中的任何資料(幻燈片、實驗室、程式碼),則必須在每張幻燈片上添加以下參考:


© Alexander Amini 和 Ava Amini MIT 深度學習入門 IntroToDeepLearning.com


6. 如何引用這些資料?


所有資料均受版權保護,並根據 MIT 許可證獲得許可。如果您是講師,並且想使用本課程中的任何資料(幻燈片、實驗室、程式碼),則必須在每張幻燈片上添加以下參考:


© Alexander Amini 和 Ava Amini MIT 6.S191:深度學習入門 IntroToDeepLearning.com


參與課程

7. 如何參與課程教學?


如果您是 MIT 學生、博士後、教職員工或附屬機構,並且想參與本課程,請發送電子郵件至 introtodeeplearning-staff@mit.edu。 我們隨時歡迎新的申請加入課程團隊。


8. 如何成為課程贊助商?


本課程的順利進行離不開我們出色的贊助商,Google、IBM、NVIDIA、Microsoft、Amazon、LambdaLabs、騰訊 AI、安永和 Onepanel 都曾贊助過本課程。如果您有興趣以贊助商的身份參與本課程,請通過 introtodeeplearning-staff@mit.edu 與我們聯繫。

## MIT 6.S191 課程內容


這個高效密集的訓練營旨在盡快教你深度學習的基礎知識! MIT 6.S191 深度學習入門課程涵蓋深度學習演算法的基礎知識、構建神經網路的實踐經驗,以及對尖端主題(包括大型語言模型和生成式 AI)的理解。 課程結束時會舉辦專案提案競賽,並由工作人員和行業贊助商小組提供反饋。


**課程主題包括:**


* 深度學習介紹

* 深度序列建模

* 使用 TensorFlow 進行音樂生成

* 深度電腦視覺

* 深度生成建模

* 臉部偵測系統

* 深度強化學習

* 新領域

* 大型語言模型

* 生成式 AI 媒體應用

* 模型在實際應用中的故事


**課程還包括軟體實驗室,涵蓋以下主題:**


* TensorFlow 介紹;音樂生成

* 臉部偵測系統

* 大型語言模型


**先修條件:**


課程假設你具備微積分(例如求導數)和線性代數(例如矩陣乘法)的基礎知識,其他所有內容都會在課程中進行解釋。 具有 Python 經驗會有所幫助,但並非必要。 歡迎旁聽者!


**評分政策:**


2024 年,6.S191 將作為一門 6 學分的 MIT 課程提供,並根據專案提案作業的完成情況評分為 P/D/F。


**開放原始碼材料:**


所有課程材料都以 MIT 許可證的版權免費開放給全世界。 如果你是一位講師,並希望使用本課程中的任何材料(幻燈片、實驗室、程式碼),則必須在每張幻燈片中新增以下參考文獻:

MIT 深度學習課程 6.S191 時間軸與人物介紹

時間軸

2024 年


4 月 29 日: 深度學習介紹 (Lecture 1)

5 月 6 日: 深度序列建模 (Lecture 2)

軟體實驗室 1: 音樂生成 (Software Lab 1)

5 月 13 日: 深度電腦視覺 (Lecture 3)

5 月 20 日: 深度生成模型 (Lecture 4)

軟體實驗室 2: 臉部辨識系統 (Software Lab 2)

5 月 27 日: 深度強化學習 (Lecture 5)

6 月 3 日: 新領域 (Lecture 6)

軟體實驗室 3: 大型語言模型 (Software Lab 3)

6 月 10 日: 生成式 AI 與媒體 (Lecture 7)

6 月 17 日: 模型實戰案例 (Lecture 8)

6 月 24 日:期末專案簡報 (Project Presentations)

頒獎典禮 (Awards Ceremony)

人物介紹

講師


Alexander Amini:課程主要講師與組織者。

Ava Amini:課程主要講師與組織者。

Sadhana Lolla:課程講師與助教負責人。

助教與工作人員


Shorna Alam: 助教

Anirudh Valiveru: 助教

Divya Nori: 助教

Alex Lavaee: 助教

Shreya Ravikumar: 助教

Franklin Wang: 助教

John Werner: 社群與策略

Eva Xie: 助教

客座講者


Douglas Eck:Google DeepMind 資深研究總監。

專長領域為聲音、影像、3D 與影片生成,以及機器學習與人機互動。

創立 Magenta 計畫,探索 AI 在藝術與音樂創作中的角色。

Nikolas Laskaris:Comet ML 副總裁。

研究員與創業家,曾任職於耶魯大學研究氣候變遷與複雜系統。

Douglas Blank:Comet ML 研究主管。

擁有電腦科學與認知科學博士學位,研究重點為類比神經網路訓練。

曾於布林莫爾學院教授機器人學、認知科學和電腦科學課程。





2024年10月25日 星期五

LLM 對時差問題的理解(或不理解?)

 在臉書社團看到 LLM 對台北與東京時差回答有誤,實測 ChatGPT-4o 一下的確如此:


Google Gemini 的回答則正確



令人擔心的幻覺問題仍然存在



2024年9月26日 星期四

2024年9月17日 星期二

再探 ChatGPT o1


 

以上兩題是分別問 o1 和 o1 mini 所得到的結果,完 全 錯 誤。

這個測試是看了 ptt 上的這篇,所做的測試。我猜這鍋還是要 tokenizer 背了吧XD



2024年9月15日 星期日

AGI 來襲 -- ChatGPT o1 初探

ChatGPT o1-preview 的能力,的確滿驚人的:


ChatGPT o1-mini 也不錯:

相對來說,Gemma 2 27B就遜色多了,以下是它的回答:



2024年9月4日 星期三

吞藥時卡在喉嚨怎麼辦?

某些牌子的維他命和大部分的魚油,都滿大顆的,近來早上一起床吞藥時有10%左右的機率會卡在喉嚨,滿不舒服的。求教 google 發現 吞不下藥嗎?語言治療師的「輕鬆吞藥」小秘訣 | 米蔚 MIDWAY 的文章,照做後的確見效。事實上我連敲都沒敲,一仰頭,藥就掉下去了,這應該是因為仰頭的動作縮減了 Vallecula 的空間,把藥擠出去了。

這個位置就是插管時沒把會厭挑起來的時候,最常見卡到的地方。據作者 Midway 所言,會沉的藥要仰頭吞,會浮的膠囊、魚油要低頭吞。所以同一口藥吞了維他命和魚油,應該是我所犯的錯誤的根本原因,必需要依浮力特性分開吞。小動作,大改變!


圖片出處 [Epiglottic Vallecula: A Key Landmark for Intubation (2024)](https://www.respiratorytherapyzone.com/vallecula/)


2024年8月5日 星期一

Gemma 2 27B 初探

最近的模型都走四平八穩的路線,做客服什麼的倒是沒問題 



其實這沒打到痛點。JAMA上有篇 Use of Olive Oil for the Treatment of Seborrheic Dermatitis in Children ,說明有機油可能更助長皮屑芽孢菌的繁殖。這也再次證明,RAG提出這麼久,還是沒有像樣的實作出來,真是令人無語…