常見組合函數(shù)

常見激活函數(shù)

結(jié)構(gòu)

• 前饋神經(jīng)網(wǎng)絡(luò)（單向）
• 反饋/循環(huán)神經(jīng)網(wǎng)絡(luò)

學(xué)習(xí)方法

• 學(xué)習(xí)模型

  • 增量
  • 迭代

• 類型

  • 監(jiān)督
  • 無監(jiān)督

• 學(xué)習(xí)策略

  • Hebbrian Learning
    • 若兩端的神經(jīng)元同時(shí)激活，增強(qiáng)聯(lián)接權(quán)重
    • Unsupervised Learning
    • 循環(huán)？
    • ${\omega }_{ij}(t+1)={\omega }_{ij}(t)+\eta (x_i(t),x_j(t))$
  • Error Correction
    • 最小化實(shí)際和輸出的誤差
      • BP
        • 目標(biāo)函數(shù)：${\omega }^{?}=argmi{n}_{\omega }\frac{1}{K}{\Sigma }_{k=1}^{K}e(D_k,Y_k)$
        • 迭代：$\omega \leftarrow \omega +\Delta \omega =\omega +\eta \delta$
      • delta rule(LMS rule,windrow-hoff
  • 隨機(jī)學(xué)習(xí)（模擬退火？）
    • 采用隨機(jī)模式，跳出局部極小
      • 如果網(wǎng)絡(luò)性能提高，新參數(shù)被接受.
      • 否則，新參數(shù)依概率接受

重要的ANN

…損失函數(shù)……目標(biāo)函數(shù)……激活函數(shù)……更新…特點(diǎn)

多層感知機(jī)（MLP，全連接)	L(y,f(x))	$R(f)=\int L(y,f(x))p(x,y)dx,R_{emf}=\Sigma L(y,f(x))$	$v={\sigma }_i{\omega }_i{x}_i,y=f(v)$	梯度法	-
多層感知機(jī)（MLP，全連接–>BP網(wǎng)絡(luò))	平方誤差	-	$v={\sigma }_i{\omega }_i{x}_i,y=f(v)，f是sigmoid，\omega =argmin(E)$	輸入從前向后，損失從后向前（鏈?zhǔn)椒▌t）,梯度下降法	允許非線性，收斂慢，過擬合，局部極小，表達(dá)能力強(qiáng)，容易執(zhí)行
單層感知機(jī)	看分類對(duì)錯(cuò)	-	$\omega x=0,一面1，一面?1，權(quán)向量是一個(gè)超平面$	$\omega =\omega +y^{?}?x，y^{?}=1或?1（C，真實(shí)y，正確：y^{?}=y)$	僅當(dāng)線性可分時(shí)收斂，對(duì)噪聲（不可分）/泛化性不好
單層感知機(jī)(最小二乘法）	平方損失$\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{k=1}^m(y_k(x_i)?t_{k,i}{)}^2$	-	$y=v(線性的）$	$w^T=(X^{T}X{)}^{?1}{X}^{T}T$	僅當(dāng)線性可分時(shí)收斂，對(duì)噪聲（不可分）/泛化性不好
單層感知機(jī)(改進(jìn)）	平方損失E=$\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{k=1}^m(y_k(x_i)?t_{k,i}{)}^2$	-	$y=\frac{1}{1+e^{?v}}(sigmoid$	$\frac{
\partial E}{\partial w_k}=\Sigma_{i=1}n\Sigma_{k=1}m(y_k(x_i)-t_{k,i})y_k(x_i)(1-y_k(x_i))x_i$	僅當(dāng)線性可分時(shí)收斂，對(duì)噪聲（不可分）,泛化性不好
支持向量機(jī)	-	最大化間隔，約束：$mi{n}_{\omega }\frac{1}{2}\Vert \omega {\Vert }^2,y_i{\omega }^T{x}_i\ge 1，任意i，小于則為0（relu)$	-	-	可以找到最好的分界面，解決了泛化性
Hopfield網(wǎng)絡(luò)(能量穩(wěn)定點(diǎn)-記憶）	-	有輸入：$E=?\frac{1}{2}{\Sigma }_{i=0}^n{\Sigma }_{j=0}^n{\omega }_{ij}{s}_i{s}_j?{\Sigma }_{i=0}^n{I}_i{s}_i,沒有輸入則去除后面的$	wij=ji(i！=j)	$權(quán)值是設(shè)定的w_{ij}={\Sigma }_{k=1}^K{x}_{ik}{x}_{jk},i=j,否則0(n?n矩陣）（s=x)$	f分布式記憶，動(dòng)態(tài)聯(lián)想，記憶容量有限，偽穩(wěn)定點(diǎn)的聯(lián)想與記憶，樣本接近時(shí)，難以回憶

感知機(jī)

• 感知機(jī)收斂定理：線性可分則收斂

  • w、x是增廣得到的
  • 若數(shù)據(jù)集可分，
    • 存在$w^{?}(||w^{?}||=1),\gamma >0,使得y_t{w}^{?}{x}_t\ge \gamma$
  • 令最終分離超平面參數(shù)為$w^{?}(||w^{?}||=1)$
    • $w_k{w}^{?}=(w_{k?1}+x_t{y}_t)w^{?}\ge w_{k?1}{w}^{?}+\gamma \ge ...\ge k\gamma$
    • $||w_k|{|}^2=||w_{k+1}+x_t{y}_t|{|}^2=||w_{k?1}|{|}^2+2w_{k?1}^T{x}_t{y}_t+||x_t|{|}^2$——yt=1
    • $\le ||w_{k?1}|{|}^2+||x_t|{|}^2\le ||w_{k?1}|{|}^2+R^2\le ...\le k{R}^2$
    • 所以$k\gamma \le w_k{w}^{?}\le ||w_k||||w^{?}||\le \sqrt{k}R$
    • $k\le \frac{R^2}{{\gamma }^2}$

• 改進(jìn)

  • sigmoid激活函數(shù)
    • 批處理
      • 一次性更新權(quán)重
      • 收斂慢
    • 增量模式
      • 逐樣本更新
      • 隨機(jī)近似，但速度快能保證收斂

• MLP（多層感知機(jī)

  • 在實(shí)際應(yīng)用中
    • 預(yù)處理很重要—normalize
    • 調(diào)整學(xué)習(xí)率——${\eta }_t=1/t$
  • 表達(dá)能力強(qiáng)
  • 容易執(zhí)行
  • 收斂速度慢
    • newton法
  • 過擬合（
    • 正則化，約束權(quán)值平滑性
    • 采用更少的隱層單元
  • 局部極小（不同的初始化，增加擾動(dòng)
  • 三層-所有連續(xù)函數(shù)
  • 4層：多層連續(xù)
  • 權(quán)重如何學(xué)習(xí)？BP–鏈?zhǔn)椒▌t計(jì)算反向傳遞

Hopfield

• 應(yīng)用
  • 將優(yōu)化目標(biāo)函數(shù)轉(zhuǎn)換成能量函數(shù)(energy function)——網(wǎng)絡(luò)的穩(wěn)定狀態(tài)是優(yōu)化問題的解
• 兩個(gè)穩(wěn)態(tài)：——>解
  • E最大——>w1
  • E最小——>w2
• 兩個(gè)工作方式
  • 異步：每次只改變一個(gè)狀態(tài)x_i
  • 同步：所有狀態(tài)均改變：x1~xn
• 反饋網(wǎng)絡(luò)（無向有權(quán)圖）
• 權(quán)值是設(shè)定的，而不是學(xué)習(xí)出來的
• TSP:
  • Hopfield網(wǎng)絡(luò)：l鄰接矩陣
  • 行：城市；列：時(shí)間，每行只有一個(gè)亮，每列也只有一個(gè)on

總結(jié)

以上是生活随笔為你收集整理的国科大高级人工智能2-人工神经网络（MLP、Hopfield）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。