學習理論工具箱

紫式晦澀每日一篇文章第37天

前言

1. 今天是2022年第35天, 全年第5週, 二月的第1個週五. 今天對「機器學習理論(Machine Learning Theory))」做學習思考.

2. 今天的素材主要來自文章:

• 2021: Learning Theory from First Principles 的第八單元

簡介: 限制最小平方

基本的方法在高維度讓學習變困難, 試著用正規化克服高維度學習的複雜度

為何要考慮高維度?:

• 目標Lipschitz-continuous: 「過風險(Excess Risk)」隨著維度增加, 學習變困難
• 目標linear: 過風險也隨維度增加, 學習變困難.

解法: 使用「正規化(Regularization)」:

• Ridge: 得到「維度獨立」的bound, 最優已無法改良
• $l_0$: 選變數, 找到預測子, 只與小數量的變數有關.

選變數(Variable Selection):

• 原特徵集合很大
• 高維度可能可以幫助預測, 但僅預期小數目是相關的.
• 如果實際上不是小數目相關, 那這些方法不會比較好.

兩種選變數技巧:$l_0$與$l_1$ 懲罰項:

• 最小化損失函數, 可以是廣義的loss. (需要到什麼條件?🤔)

最小平方法:

• 平方損失, 變異固定噪音.
• 目標: 讓「自標準化平方損失」愈小愈好.
• OLS的過風險$\sigma^2 d / n$ (最好的結果, 在對真實參數沒有結構假設的狀況).
• 結構資訊$|\theta_{*}|_0=k$: 僅有小部分的變數與實際訊號有關.

****: ****: ****:

****: ****: ****:

變數選擇由l0懲罰

****: ****: ****:

****: ****: ****:

高維度估計由l1正規

****: ****: ****:

****: ****: ****:

後記

大概花了90分鐘, 把合成數據方法章節寫過了一遍. 仔細比較一下, 這個章節寫得蠻好的! 從最「心智」的模型到最「計算」的模型, 展現人與機器的結合程度由淺至深.

過去的經驗都還能支撐這六種做法, 非常棒! 我想所謂的工程師, 就是要能很快速實踐各種研究範式裡面的方法, 來認識複雜的世界. 非常有趣！期待之後經驗累積! 天天向上, 共勉之!

2022.02.03. 紫蕊 於 西拉法葉, 印第安納, 美國.