觀光Sergey Levine的深度學習課程

紫式晦澀每日一篇文章第47天

前言

1. 今天是2022年第45天, 全年第6週, 二月的第2個週一. 今天來逛逛Sergey Levine的深度學習課程, 紀錄所見所思所想.

2. 今天的素材主要來自文章:

• Designing, Visualizing and Understanding Deep Neural Networks

共20個Lectures

• Lecture 1: Introduction.
• Lecture 2: ML Basics 1.
• Lecture 3: ML Basics 2.
• Lecture 4: Optimization.
• Lecture 5: Backpropagation.
• Lecture 6: Convolutional Nets.
• Lecture 7: Getting Neural Nets to Train.
• Lecture 8: Computer Vision.
• Lecture 9: Generating Images from CNNs.
• Lecture 10: Recurrent Neural Networks.
• Lecture 11: Sequence To Sequence Models.
• Lecture 12: Transformers.
• Lecture 13: Applications: NLP.
• Lecture 14: Learning-Based Control & Imitation.
• Lecture 15: Reinforcement Learning.
• Lecture 16: Q-Learning.
• Lecture 17: Autoencoders & Latent Variable Models.
• Lecture 18: Variational Autoencoders & Invertible Models.
• Lecture 19: Generative Adversarial Networks.
• Lecture 20: Adversarial Examples.

Lecture 1: Introduction.

多語翻譯模型-複雜無結構輸入輸入, 需要學習表現模型

一對一翻譯&多語翻譯模型:

• 有了多語翻譯模型, 甚至可以把input設為混合的語言.
• 這個「多語翻譯模型」, 涉及的問題是「表現學習(Representation learning)」

表現學習(Representation learning)觀點是表現(The thoyght is a representation):

• 怎麼樣的input才有夠大的information達成任務?
• 複雜無結構的數據, 是當代常見的input
• 要如何讓算法跑起來, 則是要將複雜的input以「表現(Representation)」的方式進入機器學習環節.

放棄參數意義-參數化複雜規則

機器學習的IPO思維: 當規則太複雜且沒用, 轉而依賴數據與示例:

• 輸入狗狗圖片; 處理電腦程式; 輸出物件標記
• 函數: 一組「規則(Rule)」將輸入轉為輸出
• 挑戰: 不知道規則, 規則太複雜, 規則下太多例外與特例
• 核心想法: 規則太複雜, 題海戰術提供「數據(Data)」與「示例(Examples)」
• 哲學問題: 這真的是人與動物學習的方式嗎?

參數化程序規則(Parameterized program as set of rules):

• 參數化規則
• Domain: 輸入數據, 學習的參數
• Function: 參數化程序規則
• Range: 輸出標記

但你說這種「程序參數」有「科學意義」嗎? 十分困難.

從淺層學習到深度學習

淺層學習: 特徵工程是自己搞的, 要找到好特徵不容易:

• Domain knowledge還有用嗎?或者是對語言, 圖片, 聲音沒用, 但其他基礎科學領域還是有點用呢?

深度學習: 特徵也是機器學, 參數也是機器學, 規則的結構人來架一架:

• 都自己學的話, 分析上就很困難了, 但實務的效果就會好很多, 很融通.
• 說到底, 分析的價值在哪邊? 只是更瞭解問題? 提供一些可能到道路?

深度學習:多層表現:

• 學習表現:由多層表現組成
• 處理:從「輸入」到「內部表現」到「輸出深度神經網路」
• 目的導向訓練: 從最後的目標(Example)來不斷調整中間的複雜規則, 直到表現好.

深度學習:多層大模型; 示例大數據; 電腦大計算

學術思考: 模型能力, 歸納偏誤,可擴展性

學術思考:

• 模型能力: 任務導向去造各種特徵.
• 歸納偏誤: 如果建立「知識」會幫助機器更好學習嗎?
• 可擴展性: 能否到更大的數據上做事?

神經網路:

• 就是說說.

後記

可以多學習如何給lecture的方式, 感覺抓重點可以看到其主線邏輯.

2022.02.14. 紫蕊 於 西拉法葉, 印第安納, 美國.