目錄

一、回歸問題概述

1、舉例

2、通俗解釋

3、數學應用

二、誤差項定義

誤差

三、獨立同分布的意義

四、似然函數的作用

1、似然函數

2、對數似然

3、展開化簡

4、目標:讓似然函數(對數變換后也一樣)越大越好

五、參數求解

1、目標函數

?2、求偏導

3、偏導等于0

4、評估方法

---

一、回歸問題概述

在機器學習有監督學習中，分為兩種問題：分類和回歸。

1、舉例

????????數據:工資和年齡(2個特征)

????????目標:預測銀行會貸款給我多少錢(標簽）

?????????考慮:工資和年齡都會都會影響最終銀行貸款的 結果那么它們各自有多大的影響呢?(參數）

2、通俗解釋

• X1,X2就是我們的兩個特征(年齡，工資) Y是銀行最終會借給我們多少錢
• 找到最合適的一條線(想象一個高維)來盡可能多的擬合我們的數據點

3、數學應用

• 假設是年齡的參數， 是工資的參數
• 擬合的平面，其中（：權重項；：偏置項 微調）
• 整合：

二、誤差項定義

誤差

真實值和預測值之間肯定是要存在差異的 (用來表示該誤差)

對于每個樣本：

(真實值=預測值+誤差項)損失函數越接近零，越好。

三、獨立同分布的意義

• 誤差是獨立并且具有相同的分布， 并且服從均值為0方差為的高斯分布；
• 獨立:張三和李四一起來貸款，他倆沒關系；
• 同分布:他倆都來得是我們假定的這家銀行；
• 高斯分布:銀行可能會多給，也可能會少給，但是絕大多數情況下 這個浮動不會太大，極小情況下浮動會比較大，符合正常情況；

四、似然函數的作用

• 預測值與誤差:? ? ? ? ? (1)
• 由于誤差服從高斯分布：?? ? ? ?(2)
• 將(1)式帶入(2)式：

1、似然函數

?解釋了什么樣的參數跟我們的數據組合后恰好是真實值 （聯合邊緣密度等于邊緣密度乘積。）??

2、對數似然

? 解釋了乘法難解，加法就容易了，對數里面乘法可以轉換成加法

3、展開化簡

求：成為y的可能性越大越好。

4、目標:讓似然函數(對數變換后也一樣)越大越好

五、參數求解

1、目標函數

2、求偏導

得到極值點

3、偏導等于0

4、評估方法

的取值越接近于1我們認為模型擬合的越好。

總結

以上是生活随笔為你收集整理的唐宇迪学习笔记6：线性回归算法原理推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。