---

←上一篇↓↑下一篇→

1.7 什么時候該改變開發(fā)_測試集和指標(biāo)	回到目錄	1.9 可避免誤差

---

為什么是人的表現(xiàn) （Why human-level performance?）

在過去的幾年里，更多的機器學(xué)習(xí)團隊一直在討論如何比較機器學(xué)習(xí)系統(tǒng)和人類的表現(xiàn)，為什么呢？

我認(rèn)為有兩個主要原因，首先是因為深度學(xué)習(xí)系統(tǒng)的進步，機器學(xué)習(xí)算法突然變得更好了。在許多機器學(xué)習(xí)的應(yīng)用領(lǐng)域已經(jīng)開始見到算法已經(jīng)可以威脅到人類的表現(xiàn)了。其次，事實證明，當(dāng)你試圖讓機器做人類能做的事情時，可以精心設(shè)計機器學(xué)習(xí)系統(tǒng)的工作流程，讓工作流程效率更高，所以在這些場合，比較人類和機器是很自然的，或者你要讓機器模仿人類的行為。

我們來看幾個這樣的例子，我看到很多機器學(xué)習(xí)任務(wù)中，當(dāng)你在一個問題上付出了很多時間之后，所以 $x$ 軸是時間，這可能是很多個月甚至是很多年。在這些時間里，一些團隊或一些研究小組正在研究一個問題，當(dāng)你開始往人類水平努力時，進展是很快的。但是過了一段時間，當(dāng)這個算法表現(xiàn)比人類更好時，那么進展和精確度的提升就變得更慢了。也許它還會越來越好，但是在超越人類水平之后，它還可以變得更好，但性能增速，準(zhǔn)確度上升的速度這個斜率，會變得越來越平緩，我們都希望能達到理論最佳性能水平。隨著時間的推移，當(dāng)您繼續(xù)訓(xùn)練算法時，可能模型越來越大，數(shù)據(jù)越來越多，但是性能無法超過某個理論上限，這就是所謂的貝葉斯最優(yōu)錯誤率（Bayes optimal error）。所以貝葉斯最優(yōu)錯誤率一般認(rèn)為是理論上可能達到的最優(yōu)錯誤率，就是說沒有任何辦法設(shè)計出一個 $x$ 到 $y$ 的函數(shù)，讓它能夠超過一定的準(zhǔn)確度。

例如，對于語音識別來說，如果 $x$ 是音頻片段，有些音頻就是這么嘈雜，基本不可能知道說的是什么，所以完美的準(zhǔn)確率可能不是100%。或者對于貓圖識別來說，也許一些圖像非常模糊，不管是人類還是機器，都無法判斷該圖片中是否有貓。所以，完美的準(zhǔn)確度可能不是100%。

而貝葉斯最優(yōu)錯誤率有時寫作Bayesian，即省略optimal，就是從 $x$ 到 $y$ 映射的理論最優(yōu)函數(shù)，永遠(yuǎn)不會被超越。所以你們應(yīng)該不會感到意外，這紫色線，無論你在一個問題上工作多少年，你永遠(yuǎn)不會超越貝葉斯錯誤率，貝葉斯最佳錯誤率。

事實證明，機器學(xué)習(xí)的進展往往相當(dāng)快，直到你超越人類的表現(xiàn)之前一直很快，當(dāng)你超越人類的表現(xiàn)時，有時進展會變慢。我認(rèn)為有兩個原因，為什么當(dāng)你超越人類的表現(xiàn)時，進展會慢下來。一個原因是人類水平在很多任務(wù)中離貝葉斯最優(yōu)錯誤率已經(jīng)不遠(yuǎn)了，人們非常擅長看圖像，分辨里面有沒有貓或者聽寫音頻。所以，當(dāng)你超越人類的表現(xiàn)之后也許沒有太多的空間繼續(xù)改善了。但第二個原因是，只要你的表現(xiàn)比人類的表現(xiàn)更差，那么實際上可以使用某些工具來提高性能。一旦你超越了人類的表現(xiàn)，這些工具就沒那么好用了。

我的意思是這樣，對于人類相當(dāng)擅長的任務(wù)，包括看圖識別事物，聽寫音頻，或閱讀語言，人類一般很擅長處理這些自然數(shù)據(jù)。對于人類擅長的任務(wù)，只要你的機器學(xué)習(xí)算法比人類差，你就可以從讓人幫你標(biāo)記數(shù)據(jù)，你可以讓人幫忙或者花錢請人幫你標(biāo)記例子，這樣你就有更多的數(shù)據(jù)可以喂給學(xué)習(xí)算法。下周我們會討論，人工錯誤率分析，但只要人類的表現(xiàn)比任何其他算法都要好，你就可以讓人類看看你算法處理的例子，知道錯誤出在哪里，并嘗試了解為什么人能做對，算法做錯。下周我們會看到，這樣做有助于提高算法的性能。你也可以更好地分析偏差和方差，我們稍后會談一談。但是只要你的算法仍然比人類糟糕，你就有這些重要策略可以改善算法。而一旦你的算法做得比人類好，這三種策略就很難利用了。所以這可能是另一個和人類表現(xiàn)比較的好處，特別是在人類做得很好的任務(wù)上。

為什么機器學(xué)習(xí)算法往往很擅長模仿人類能做的事情，然后趕上甚至超越人類的表現(xiàn)。特別是，即使你知道偏差是多少，方差是多少。知道人類在特定任務(wù)上能做多好可以幫助你更好地了解你應(yīng)該重點嘗試減少偏差，還是減少方差，我想在下一個視頻中給你一個例子。

課程板書

---

←上一篇↓↑下一篇→

1.7 什么時候該改變開發(fā)_測試集和指標(biāo)	回到目錄	1.9 可避免誤差

---

總結(jié)

以上是生活随笔為你收集整理的1.8 为什么是人的表现-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。