簡(jiǎn)介：進(jìn)步是否會(huì)持續(xù)不減，摩爾定律式的理論在未來(lái)幾年或即將碰壁，仍有待觀察。

八年前，一種機(jī)器學(xué)習(xí)算法學(xué)會(huì)了識(shí)別一只貓，它震驚了全世界。

幾年后，人工智能可以準(zhǔn)確地翻譯語(yǔ)言，打敗世界圍棋冠軍。

現(xiàn)在，機(jī)器學(xué)習(xí)已經(jīng)開(kāi)始在諸如 “星際爭(zhēng)霸” 和 “dota2” 等復(fù)雜的多人視頻游戲，以及諸如撲克之類的微妙游戲中脫穎而出，人工智能正在快速發(fā)展。

但是速度有多快呢，是什么在驅(qū)動(dòng)著速度呢？雖然更好的計(jì)算機(jī)芯片是關(guān)鍵，但 AI 研究機(jī)構(gòu) OpenAI 認(rèn)為，我們也應(yīng)該衡量實(shí)際機(jī)器學(xué)習(xí)算法的改進(jìn)速度。

由 OpenAI 的 Danny Hernandez 和 Tom Brown 撰寫(xiě)并發(fā)表在 arXiv 上的論文指出，研究人員稱他們已經(jīng)開(kāi)始跟蹤衡量機(jī)器學(xué)習(xí)的效率，即用更少的資源做更多的事。他們使用這種方法表明，人工智能已經(jīng)以一種極快的速度變得更加高效。

算法效率提升加快研究

一般說(shuō)來(lái)，驅(qū)動(dòng) AI 進(jìn)步的有三個(gè)因素：運(yùn)算量、數(shù)據(jù)和算法創(chuàng)新。計(jì)算能力更容易跟蹤，但算法方面的改進(jìn)卻有點(diǎn)難以捉摸。

我們可以將算法效率定義為減少訓(xùn)練特定功能所需的計(jì)算量，它是衡量計(jì)算機(jī)科學(xué)中算法進(jìn)度的主要指標(biāo)。傳統(tǒng)問(wèn)題（如排序）的效率提升比機(jī)器學(xué)習(xí)更易于衡量，因?yàn)樗鼈兛梢愿逦睾饬咳蝿?wù)難度。但是，可以通過(guò)保持性能恒定來(lái)將效率透鏡應(yīng)用于機(jī)器學(xué)習(xí)。

自 2012 年以來(lái)，在 ImageNet 分類中訓(xùn)練神經(jīng)網(wǎng)絡(luò)達(dá)到相同性能所需的計(jì)算量，每 16 個(gè)月減少了 2 倍。與 2012 年相比，現(xiàn)在將神經(jīng)網(wǎng)絡(luò)訓(xùn)練到 AlexNet（一種基準(zhǔn)圖像識(shí)別算法）所需的計(jì)算量減少了 44 倍。研究結(jié)果表明，對(duì)于最近投入大量資金的 AI 任務(wù)，算法進(jìn)步比傳統(tǒng)硬件效率產(chǎn)生了更多收益。

用于訓(xùn)練到 AlexNet 級(jí)別的總計(jì)算量（以太字節(jié) /天為單位），在任何給定時(shí)間的最低計(jì)算點(diǎn)都以藍(lán)色顯示，所有測(cè)量點(diǎn)都以灰色顯示。

尤其在翻譯和游戲等其他流行功能，在較短時(shí)間范圍內(nèi)改進(jìn)的速度更快。在翻譯方面，三年后的英法翻譯中，Transformer 算法的計(jì)算能力比 seq2seq 算法低 61 倍；僅僅一年后，DeepMind 的 AlphaZero 在圍棋比賽中，其計(jì)算量比 AlphaGoZero 少 8 倍，就能與 AlphaGoZero 匹敵；而僅三個(gè)月后，OpenaAI Five Rerun 在 Dota2 上使用了比原來(lái)低五倍的計(jì)算能力，就能超越了世界冠軍 OpenaAI Five。

算法效率的提高，使得研究人員可以在給定的時(shí)間和金錢(qián)下進(jìn)行更多感興趣的實(shí)驗(yàn)，加速未來(lái) AI 的研究。

機(jī)器學(xué)習(xí)的摩爾定律

機(jī)器學(xué)習(xí)中是否存在某種算法摩爾定律？

研究人員表示，目前還沒(méi)有足夠的信息來(lái)說(shuō)明這一點(diǎn)。他們的工作只包括了幾個(gè)數(shù)據(jù)點(diǎn)，原始的摩爾定律圖表同樣幾乎沒(méi)有被觀察到，所以任何推斷純屬推測(cè)。此外，研究?jī)H關(guān)注少數(shù)幾個(gè)流行的功能和頂級(jí)程序。目前尚不清楚觀察到的趨勢(shì)是否可以更廣泛地推廣到其他 AI 任務(wù)。

對(duì)于語(yǔ)言、游戲等領(lǐng)域，大規(guī)模的計(jì)算對(duì)于整體性能仍然很重要，因此追蹤效率顯得尤為重要，測(cè)量效率整體性能的長(zhǎng)期趨勢(shì)將有助于描繪總體算法進(jìn)展的定量情況。研究人員觀察到，硬件和算法效率提升是可乘的，并且在有意義的范圍內(nèi)可以達(dá)到相似的規(guī)模，這表明 AI 進(jìn)步的良好模型應(yīng)該整合兩者的衡量指標(biāo)。

研究結(jié)果還表明，對(duì)于具有高投資水平（研究人員花極大時(shí)間和精力）的 AI 任務(wù)，算法效率可能超過(guò)硬件效率（摩爾效率）帶來(lái)的收益。

摩爾定律是在 1965 年提出的，即當(dāng)價(jià)格不變時(shí)，集成電路上可容納的元器件的數(shù)目，約每隔 18-24 個(gè)月便會(huì)增加一倍，性能也將提升一倍。

當(dāng)時(shí)集成電路只有 64 個(gè)晶體管，之后出現(xiàn)了個(gè)人計(jì)算機(jī)和智能手機(jī)（iPhone11 擁有 85 億個(gè)晶體管）。如果我們觀察到數(shù)十年來(lái) AI 算法效率的指數(shù)級(jí)提高，它可能會(huì)帶來(lái)什么？

出于這些原因，研究人員開(kāi)始公開(kāi)跟蹤效率的整體性能，首先探索視覺(jué)和翻譯效率基準(zhǔn)，包括 ImageNet 和 WMT14，之后再考慮隨著時(shí)間的推移將添加更多的基準(zhǔn)。跟蹤多種措施，包括硬件的措施，可以描繪出一幅更完整的進(jìn)展情況，并有助于確定未來(lái)的努力和投資在哪些方面最有效。

人工智能的未來(lái)

值得注意的是，這項(xiàng)研究的重點(diǎn)是深度學(xué)習(xí)算法，這是目前占主導(dǎo)地位的人工智能方法。深度學(xué)習(xí)是否能繼續(xù)取得如此巨大的進(jìn)步，是人工智能領(lǐng)域爭(zhēng)論的焦點(diǎn)。該領(lǐng)域的一些頂級(jí)研究人員質(zhì)疑深度學(xué)習(xí)解決該領(lǐng)域最大挑戰(zhàn)的長(zhǎng)期潛力。

OpenAI 在較早的一篇論文中表明，最新熱門(mén)的人工智能需要相當(dāng)驚人的計(jì)算能力來(lái)進(jìn)行訓(xùn)練，并且所需的資源正以驚人的速度增長(zhǎng)。在 2012 年之前，人工智能程序使用的計(jì)算能力的增長(zhǎng)主要遵循摩爾定律，而自 2012 年以來(lái)，機(jī)器學(xué)習(xí)算法使用的計(jì)算能力的增長(zhǎng)速度是摩爾定律的 7 倍。

這也是 OpenAI 對(duì)跟蹤進(jìn)展感興趣的原因。例如，如果機(jī)器學(xué)習(xí)算法的培訓(xùn)成本越來(lái)越高，那么增加對(duì)學(xué)術(shù)研究人員的資助就很重要；如果效率趨勢(shì)被證明是一致的，那么就更容易預(yù)測(cè)未來(lái)的成本并相應(yīng)地計(jì)劃投資。

進(jìn)步是否會(huì)持續(xù)不減，摩爾定律式的理論在未來(lái)幾年或即將碰壁，仍有待觀察。

但正如作者們所寫(xiě)的那樣，如果這些趨勢(shì)在未來(lái)繼續(xù)下去，人工智能將變得更加強(qiáng)大，而且可能比我們想象的還要快。

原文鏈接：https://yqh.aliyun.com/detail/14195

版權(quán)聲明：

總結(jié)

以上是生活随笔為你收集整理的机器学习效率正在超越摩尔定律的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。