最小平方誤差判別準(zhǔn)則函數(shù)

對于上一節(jié)提出的不等式組：

在線性不可分的情況下，不等式組不可能同時滿足。一種直觀的想法就是，希望求一個a*使被錯分的樣本盡可能少。這種方法通過求解線性不等式組來最小化錯分樣本數(shù)目，通常采用搜索算法求解。

為了避免求解不等式組，通常轉(zhuǎn)化為方程組：

矩陣形式為：。方程組的誤差為：，可以求解方程組的最小平方誤差求解，即：

Js(a) 即為最小平方誤差（Minimum Squared-Error，MSE）的準(zhǔn)則函數(shù)：

準(zhǔn)則函數(shù)最小化方法

準(zhǔn)則函數(shù)最小化通常有兩種方法：違逆法，梯度下降法。

偽逆法

Js(a) 在極值出對a的梯度為零，即：

于是，得到，其中是矩陣Y的偽逆。

一個具體的求解示例如下：

梯度下降法

梯度下降法在每次迭代時按照梯度下降方向更新權(quán)向量：

直到滿足或者時停止迭代，ξ是事先確定的誤差靈敏度。

參照感知器算法中的單步修正法，對MSE也可以采用單樣本修正法來調(diào)整權(quán)向量：

這種算法即Widrow-Hoff算法，也稱作最小均方根算法或LMS（Least-mean-square algorithm）算法。

（轉(zhuǎn)載請注明作者和出處：http://blog.csdn.net/xiaowei_cqu?未經(jīng)允許請勿用于商業(yè)用途）

總結(jié)

以上是生活随笔為你收集整理的最小平方误差判别 MSE的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。