終于理解了方向?qū)?shù)與梯度

        </h1><div class="clear"></div><div class="postBody">

本文作者Key,博客園主頁(yè)：https://home.cnblogs.com/u/key1994/

本內(nèi)容為個(gè)人原創(chuàng)作品，轉(zhuǎn)載請(qǐng)注明出處或聯(lián)系：zhengzha16@163.com

0.淵源

第一次接觸方向?qū)?shù)與梯度的概念，是在大學(xué)的高等數(shù)學(xué)課堂上，當(dāng)時(shí)對(duì)于這部分內(nèi)容是似懂非懂的。

巧合的是，后來(lái)在參加碩士復(fù)試的時(shí)候，有位老師提問(wèn)我對(duì)方向?qū)?shù)與梯度的理解，當(dāng)時(shí)我只記得一句話：梯度是方向?qū)?shù)變化最大的方向。雖然后來(lái)這位老師成了我的導(dǎo)師，但是現(xiàn)在想來(lái)依然覺(jué)得慚愧，因?yàn)槲覍?duì)這兩個(gè)名詞完全沒(méi)有理解。

后來(lái)學(xué)習(xí)到BP神經(jīng)網(wǎng)絡(luò)，也手動(dòng)推導(dǎo)過(guò)根據(jù)梯度下降法得到的權(quán)值更新公式，但方向?qū)?shù)的定義一直是我的心結(jié)。今天終于花了時(shí)間將這個(gè)簡(jiǎn)單的問(wèn)題弄明白，特地記錄下來(lái)，以警示自己在將來(lái)的科研道路上要腳踏實(shí)地，不可浮于表面！

1.方向?qū)?shù)

• 方向?qū)?shù)的本質(zhì)是一個(gè)數(shù)值，簡(jiǎn)單來(lái)說(shuō)其定義為：

一個(gè)函數(shù)沿指定方向的變化率。

因此，構(gòu)建方向?qū)?shù)需要有兩個(gè)元素：

1)????? 函數(shù)

2)????? 指定方向

當(dāng)然，與普通函數(shù)的導(dǎo)數(shù)類似，方向?qū)?shù)也不是百分之百存在的，需要函數(shù)滿足在某點(diǎn)處可微，才能計(jì)算出該函數(shù)在該點(diǎn)的方向?qū)?shù)。

至于其物理含義，這里采用最常用的下山圖來(lái)表示。

?

?簡(jiǎn)單將上圖看作是一座山的模型，我們處在山上的某一點(diǎn)處，需要走到山下。理論上來(lái)說(shuō)，這座山的表面是可以通過(guò)一個(gè)函數(shù)的描述的（雖然想要找到這個(gè)函數(shù)可能很難），而這個(gè)函數(shù)可以在不同的方向上都確定出一個(gè)方向?qū)?shù)，這就好比于如果我們想下山，道路并不是唯一的，而是可以沿任何方向移動(dòng)。區(qū)別在于有些方向可以讓我們下山速度更快，有些方向讓我們下山速度更慢，有些方向甚至引導(dǎo)我們往山頂走（也可以理解為下山速度時(shí)負(fù)的）。在這里，速度的值就是方向?qū)?shù)的直觀理解。

2.梯度

• 梯度與方向?qū)?shù)是有本質(zhì)區(qū)別的，梯度其實(shí)是一個(gè)向量，其定義為：

一個(gè)函數(shù)對(duì)于其自變量分別求偏導(dǎo)數(shù)，這些偏導(dǎo)數(shù)所組成的向量就是函數(shù)的梯度。

在很多資料中可以看到如下的梯度定義方法：

?

?

?

誠(chéng)然，這種定義方法更加權(quán)威，但是卻不夠直觀，這也是為什么我在高等數(shù)學(xué)課堂上學(xué)習(xí)梯度概念時(shí)感覺(jué)云里霧里。這種定義方法只針對(duì)二元函數(shù)，所以公式中的i，j可分別表示為函數(shù)在x和y方向上的單位向量，這樣的描述可以讓我們更好理解（因?yàn)槿祟惔竽X可以比較輕松的理解三維世界的模型圖），但是一旦到了更高維度的世界，單純靠這個(gè)公式就不容易理解了。

3.梯度與方向?qū)?shù)的關(guān)系

• 梯度與方向?qū)?shù)的關(guān)系應(yīng)該如何描述呢？

函數(shù)在某點(diǎn)的梯度是這樣一個(gè)向量，它的方向與取得最大方向?qū)?shù)的方向一致，而它的模為方向?qū)?shù)的最大值。

以上描述非常好理解，那如何證明呢？

?

?

說(shuō)實(shí)話，我覺(jué)得以上證明過(guò)程很抽象，但這就是數(shù)學(xué)，而我們要做的就是從這些抽象中來(lái)理解問(wèn)題的實(shí)質(zhì)。

依然采用下山的例子來(lái)解釋。我們想要走到山下，道路有千萬(wàn)條，但總有一條可以讓我們以最快的速度下山。當(dāng)然，這里的最快速度僅僅作用在當(dāng)前的位置點(diǎn)上，也就是說(shuō)在當(dāng)前位置A我們選擇一個(gè)方向往山下走，走了一步之后到達(dá)了另外一個(gè)位置B，然后我們?cè)贐位置計(jì)算梯度方向，并沿該方向到達(dá)位置處c，重復(fù)這個(gè)過(guò)程一直到終點(diǎn)。但是，如果我們把走的每一步連接起來(lái)構(gòu)成下山的完整路線，這條路線可能并不是下山的最快最優(yōu)路線。

原因是什么？可以用一句古詩(shī)來(lái)解釋：“不識(shí)廬山真面目，只緣身在此山中。”因?yàn)槲覀冊(cè)谏缴系臅r(shí)候是不知道山的具體形狀的，因此無(wú)法找到一條全局最優(yōu)路線。那我們只能關(guān)注腳下的路，將每一步走好，這就是梯度下降法的原理。

?

標(biāo)簽: 方向?qū)?shù), 梯度

<div id="blog_post_info">

好文要頂 關(guān)注我 收藏該文 飛奔的可亦
關(guān)注 - 0
粉絲 - 1 +加關(guān)注 0 0

<div class="clear"></div>
<div id="post_next_prev"><a href="https://www.cnblogs.com/key1994/p/11503826.html" class="p_n_p_prefix">? </a> 上一篇：    <a href="https://www.cnblogs.com/key1994/p/11503826.html" title="發(fā)布于 2019-09-10 23:33">聊一聊極大似然估計(jì)</a>
<br>
<a href="https://www.cnblogs.com/key1994/p/11695519.html" class="p_n_p_prefix">? </a> 下一篇：    <a href="https://www.cnblogs.com/key1994/p/11695519.html" title="發(fā)布于 2019-10-17 22:25">優(yōu)達(dá)學(xué)城自動(dòng)駕駛課程項(xiàng)目——車道檢測(cè)</a>

posted @ 2019-09-10 23:37? 飛奔的可亦? 閱讀(2841)? 評(píng)論(0)? 編輯? 收藏

</div>

總結(jié)

以上是生活随笔為你收集整理的方向导数 梯度的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。