該筆記介紹的是《卷積神經(jīng)網(wǎng)絡》系列第四周：特殊應用（2)神經(jīng)風格轉換

主要內(nèi)容有：

1.神經(jīng)風格轉換

2.卷積網(wǎng)絡隱藏單元可視化顯示

3.神經(jīng)風格轉換代價函數(shù)

4.內(nèi)容代價函數(shù)

5.風格代價函數(shù)

*6.數(shù)據(jù)從一維到三維的推廣

?

?神經(jīng)風格轉換

把C(content)內(nèi)容圖片轉化為風格類似S(style)風格圖片的G(generated)生成圖片。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

卷積網(wǎng)絡隱藏單元可視化顯示

通過觀察可視化顯示的不同隱藏單元的輸出結果真正了解卷積網(wǎng)絡中深度較大的層真正在做些什么。

可視化圖塊輸出：

從第一層隱藏層第一個隱藏單元開始：尋找當前層的最大化激活了隱藏單元激活項的9個圖片塊。并循環(huán)該層所有單元。對之后的隱藏層進行相同的操作，并輸出該隱藏層的圖片塊。

?

單個隱藏單元輸出：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

在視頻中對9個隱藏單元循環(huán)輸出：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

?

對不同隱藏層的輸出：

我的理解：
在淺層隱藏單元通常會尋找一些簡單的特征（圖片塊較小）進行學習，但是到了深層會檢測以簡單的事物（淺層）為基礎更會復雜的事物（圖片塊較大）。

文中的論文地址：Visualizing and Understanding Convolutional Networks

神經(jīng)風格轉換代價函數(shù)

定義關于G的代價函數(shù)J用于評估生成圖片G的好壞。

? ? ? ? ? ? ? ? ? ? ? ? ?

超參數(shù)α，β用于確定內(nèi)容代價函數(shù)和風格代價函數(shù)的權重

生成圖像G:

　　　　a.隨機初始化G,生成如下圖的白噪聲圖。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

　　　　b.使用定義的代價函數(shù)J(G),使用梯度下降的方法使其最小化。

? ? ? ? ? ? ? ? ? ? ? ? ? ??

逐步處理像素，慢慢的到一個有著風格圖片風格的生成圖片

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

論文地址：A Neural Algorithm of Artistic Style

?

內(nèi)容代價函數(shù)

內(nèi)容函數(shù)為神經(jīng)風格轉換代價函數(shù)的：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

定義內(nèi)容代價函數(shù)：

　　　　a.使用隱藏層l來計算內(nèi)容代價,生成圖像G。（l不會太深也不會太淺，在中間層）

　　　　b.使用一個預訓練的卷積模型

　　　　c.讓a^[l](G)(圖片G)與a^[l](C)(圖片C)的l層的激活函數(shù)值

　　　　d.如果內(nèi)容激活函數(shù)相似，這兩個圖片的內(nèi)容也相似

? ? ? ? ? ? ? ? ? ? ? ? ? ?

使用該激活函數(shù)找到圖片G?

?風格代價函數(shù)

風格函數(shù)為神經(jīng)風格轉換代價函數(shù)的

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

為風格圖片定義一個深度測量：

? ? ? ? ? ? ? ? ? ? ?a.使l層的激活函數(shù)去定義風格

　　　　　　b.把圖片風格定義為l層各個通道之間的激活項的相關系數(shù)

相關系數(shù)：

相關系數(shù)為你提供了一種去測量這些不同特征的方法，它的含義是測量這些特性在圖片的各個位置同時或者不同或者不同時出現(xiàn)的頻率。

使用相關系數(shù)來描述通道的風格，是測量生成圖片的第一個通道是否與第二個通道相關，及特性是否同時出現(xiàn)或者不同時出現(xiàn)的頻率，這樣就能測量生成圖片與輸入風格圖片的相似程度。

風格矩陣：

計算不同通道之間的相關系數(shù)。

在l層風格圖片的風格矩陣：

計算k通道和k'通道之間的相關系數(shù)（k=1,2,3,.....,n）

(i,j,k)為l層激活值的(H,W,C)

在l層生成圖片的風格矩陣：

合并對于單層l的風格函數(shù)：

?

*對每層都使用風格函數(shù)相加效果會更好：

?

轉載于:https://www.cnblogs.com/-1024/p/8848163.html

總結

以上是生活随笔為你收集整理的吴恩达【深度学习工程师】 04.卷积神经网络 第四周特殊应用（2)神经风格转换...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。