第一天 基礎(chǔ)知識(shí)

什么是機(jī)器學(xué)習(xí)？

通過(guò)一系列的數(shù)據(jù)和標(biāo)簽學(xué)習(xí)到一個(gè)模型，對(duì)未知的數(shù)據(jù)進(jìn)行預(yù)測(cè)。

近年興盛的原因：GPU+海量數(shù)據(jù)

2017年7月26日，一個(gè)時(shí)代的終結(jié)，深度學(xué)習(xí)的準(zhǔn)確率已經(jīng)超越人類（5.1%）達(dá)到了3.57%（2015,ResNet 3.57%），ImageNet比賽已經(jīng)沒(méi)有進(jìn)行的必要了。

深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)是通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)的

計(jì)算機(jī)視覺(jué)：讓計(jì)算機(jī)程序有自己的視覺(jué)系統(tǒng)，能看懂世界
舉例：人臉識(shí)別、行人檢測(cè)

傳統(tǒng)的計(jì)算機(jī)視覺(jué)：特征工程+機(jī)器學(xué)習(xí)（提取臉部特征+分類）

如何利用線性分類來(lái)區(qū)分貓和狗：

利用x和權(quán)值w及偏置b的線性函數(shù)來(lái)求解每個(gè)輸入的分類后的得分，得分越高，越認(rèn)為輸入為該類。

Softmax：

如何確定w和b是否是最好的？——損失函數(shù)

如何優(yōu)化？——梯度下降

第二天 窺探卷積神經(jīng)網(wǎng)絡(luò)

一、回顧

1. 使用KNN進(jìn)行圖像分類：

優(yōu)點(diǎn)：簡(jiǎn)單清晰，不需要訓(xùn)練，復(fù)雜度很低

缺點(diǎn)：預(yù)測(cè)過(guò)程復(fù)雜度很高，每個(gè)測(cè)試圖片要和所有的訓(xùn)練圖像進(jìn)行對(duì)比，背景和顏色干擾很大。

2. 使用線性分類對(duì)圖像分類的過(guò)程：

設(shè)定w和b，得到一個(gè)線性輸出，經(jīng)過(guò)一個(gè)softmax來(lái)確定輸出的類別概率，利用梯度下降來(lái)優(yōu)化交叉熵?fù)p失函數(shù)，就是為了找到最優(yōu)的w和b。

缺點(diǎn)：

訓(xùn)練過(guò)程類似于特征工程+機(jī)器學(xué)習(xí)的分類

無(wú)法解決線性不可分的問(wèn)題

3. 利用神經(jīng)網(wǎng)絡(luò)搭積木

4. 利用深度學(xué)習(xí)搭更高的積木

二、深度神經(jīng)網(wǎng)絡(luò)

激活函數(shù)：加入非線性元素

決策邊界較為平滑，解決非線性分類問(wèn)題

對(duì)線性輸出做一個(gè)非線性變換之后輸出

如何預(yù)測(cè)：

像素值為輸入1、-1，隨機(jī)初始化w和b，圓的左邊為線性（wx+b），圓圈的右邊為激活函數(shù)之后的輸出a(wx+b)，

變?yōu)榫仃囘\(yùn)算：wx+b

訓(xùn)練：反向傳播（鏈?zhǔn)椒▌t）

梯度下降求損失函數(shù)的偏導(dǎo)，進(jìn)行參數(shù)的更新

前向傳播

反向傳播

卷積神經(jīng)網(wǎng)絡(luò)

圖像的特性：

卷積+池化=特征提取

卷積的過(guò)程：

利用卷積核，在圖像上橫向移動(dòng)，提取每個(gè)子塊的特征，生成特征圖。

第四天 驗(yàn)證碼

驗(yàn)證碼識(shí)別

一、隨機(jī)生成驗(yàn)證碼

利用captcha庫(kù)生成驗(yàn)證碼

TRAIN_SIZE = 50000 VALID_SIZE = 20000 CHAR_SET = '123456789ABCDEFGHIJKLMNPQRSTUVWXYZ' CHAR_NUM = 5 # 一個(gè)驗(yàn)證碼有5個(gè)字符 IMG_HEIGHT = 60 # 驗(yàn)證碼高 IMG_WIDTH = 160 # 驗(yàn)證碼長(zhǎng) FONT_SIZES = [40] # 字體大小

label：因?yàn)槟阒朗窃趺瓷傻?#xff0c;所以是知道label的

保存格式：135AC_num12356.png

隨機(jī)背景色，隨機(jī)噪點(diǎn)，隨機(jī)干擾線，隨機(jī)取樣5個(gè)字符，字符會(huì)有粘連，不用深度學(xué)習(xí)的話，前面要先做數(shù)據(jù)的預(yù)處理，要先把噪點(diǎn)等干擾進(jìn)行處理。

二、將驗(yàn)證碼轉(zhuǎn)化獨(dú)熱碼

驗(yàn)證碼：

1APFV ，一張圖中有5個(gè)字符

獨(dú)熱碼：

label123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ

1	1	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
A	0	0	0	0	0	0	0	0	0	1	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
P	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	1	0	0	0	0	0	0	0	0	0	0
F	0	0	0	0	0	0	0	0	0	0	0	0	0	0	1	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
V	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	1	0	0	0	0

總結(jié)

以上是生活随笔為你收集整理的Shady 深度学习课程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。