稀疏自编码器一览表
下面是我們在推導(dǎo)sparse autoencoder時使用的符號一覽表:
| 符號 | 含義 |
| 訓(xùn)練樣本的輸入特征,. | |
| 輸出值/目標(biāo)值. 這里??可以是向量. 在autoencoder中,. | |
| 第??個訓(xùn)練樣本 | |
| 輸入為??時的假設(shè)輸出,其中包含參數(shù)?. 該輸出應(yīng)當(dāng)與目標(biāo)值??具有相同的維數(shù). | |
| 連接第??層??單元和第??層??單元的參數(shù). | |
| 第??層??單元的偏置項(xiàng). 也可以看作是連接第??層偏置單元和第??層??單元的參數(shù). | |
| 參數(shù)向量. 可以認(rèn)為該向量是通過將參數(shù)??組合展開為一個長的列向量而得到. | |
| 網(wǎng)絡(luò)中第??層??單元的激活(輸出)值. 另外,由于??層是輸入層,所以?. | |
| 激活函數(shù). 本文中我們使用?. | |
| 第??層??單元所有輸入的加權(quán)和. 因此有?. | |
| 學(xué)習(xí)率 | |
| 第??層的單元數(shù)目(不包含偏置單元). | |
| 網(wǎng)絡(luò)中的層數(shù). 通常??層是輸入層,?層是輸出層. | |
| 權(quán)重衰減系數(shù). | |
| 對于一個autoencoder,該符號表示其輸出值;亦即輸入值??的重構(gòu)值. 與??含義相同. | |
| 稀疏值,可以用它指定我們所需的稀疏程度 | |
| (sparse autoencoder中)隱藏單元??的平均激活值. | |
| (sparse autoencoder目標(biāo)函數(shù)中)稀疏值懲罰項(xiàng)的權(quán)重. |
總結(jié)
- 上一篇: Python数模笔记-模拟退火算法(4)
- 下一篇: ros下qt creator环境搭建