“摩爾定律將繼續(xù)改變世界，但算法的進(jìn)步對(duì)推動(dòng)電子技術(shù)的發(fā)展越來越重要。”

現(xiàn)有的半導(dǎo)體芯片或正在開發(fā)的新計(jì)算架構(gòu)仍然適合未來的算法，我們對(duì)此有多大信心？隨著算法的進(jìn)步超過硬件的發(fā)展，即使是最先進(jìn)的深度學(xué)習(xí)模型都可以部署在小到5美元的Raspberry Pi上。

在20世紀(jì)80年代的處理器上運(yùn)行最先進(jìn)的現(xiàn)代算法，和在最先進(jìn)的處理器上運(yùn)行20世紀(jì)80年代的算法，哪個(gè)算得更快？答案令人驚訝，通常都是在舊處理器上跑新算法更快些。

雖然摩爾定律作為電子行業(yè)快速發(fā)展的驅(qū)動(dòng)力而備受關(guān)注，但它只是一個(gè)驅(qū)動(dòng)因素而已。我們經(jīng)常忘記算法的進(jìn)步其實(shí)在很多情況下超過了摩爾定律。

Martin Groetschel教授觀察到，在1988年需要花費(fèi)82年才能解算的一個(gè)線性編程問題，在2003年只需要一分鐘。其中硬件加速占1000倍，而算法進(jìn)步占43,000倍。同樣，麻省理工學(xué)院教授Dimitris Bertsimas的研究表明，1991年至2013年間，混合整數(shù)求解器的算法加速是58萬倍，而峰值超級(jí)計(jì)算機(jī)的硬件加速僅增加了32萬倍。據(jù)說，類似的結(jié)果也發(fā)生在其他類型的約束優(yōu)化問題和素?cái)?shù)因子分解中。

?這對(duì)AI意味著什么？?

過去五年來，無論學(xué)術(shù)界、工業(yè)界還是創(chuàng)業(yè)界，都見證了人工智能（AI）的爆發(fā)。可能最大的拐點(diǎn)發(fā)生在2012年，當(dāng)時(shí)來自多倫多大學(xué)的AlexNet團(tuán)隊(duì)，使用深度學(xué)習(xí)一舉贏得了ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽（ILSVRC）的冠軍。從那以后，深度學(xué)習(xí)成為了人工智能實(shí)現(xiàn)的關(guān)鍵配方。

計(jì)算機(jī)視覺的進(jìn)步開始蔓延到自然語(yǔ)言處理和其他AI領(lǐng)域。智能音箱、實(shí)時(shí)計(jì)算機(jī)翻譯、機(jī)器人對(duì)沖基金，以及網(wǎng)絡(luò)參考引擎，不再讓我們感到驚訝了。

AI也成為了交通運(yùn)輸行業(yè)的驅(qū)動(dòng)力（這也是Autotech Ventures公司的投資領(lǐng)域）。我們預(yù)見到，高級(jí)駕駛輔助系統(tǒng)（ADAS）、自動(dòng)駕駛、車隊(duì)檢查、制造質(zhì)量控制，以及車載人機(jī)界面等細(xì)分市場(chǎng)，具有巨大的發(fā)展?jié)摿Α５侥壳盀橹?#xff0c;Autotech Ventures已經(jīng)對(duì)幾家專注于開發(fā)該領(lǐng)域AI解決方案的初創(chuàng)公司進(jìn)行了投資，包括ADAS和自動(dòng)駕駛、視覺檢測(cè)和邊緣計(jì)算。在分析這些商業(yè)機(jī)會(huì)時(shí)，算法和硬件之間的相互作用是其投資決策中的一個(gè)關(guān)鍵考慮因素。

?公眾對(duì)AI硬件的關(guān)注?

基于深度學(xué)習(xí)的AI在其拐點(diǎn)之后出現(xiàn)了對(duì)圖形處理單元（GPU）的強(qiáng)勁需求。由于具有很強(qiáng)的并行計(jì)算能力，GPU對(duì)于深度學(xué)習(xí)算法所采用的邏輯恰好具有驚人的運(yùn)行效率。GPU的主要供應(yīng)商英偉達(dá)（NVIDIA)從競(jìng)爭(zhēng)中脫穎而出，其股價(jià)從2013年到2018年上漲了20倍。

當(dāng)然，英偉達(dá)的競(jìng)爭(zhēng)對(duì)手正在努力追趕。高通、Arm和其他公司將注意力集中在了AI芯片的設(shè)計(jì)上，而英特爾則收購(gòu)了AI芯片初創(chuàng)公司Nervana Systems。谷歌、Facebook、蘋果和亞馬遜都已紛紛為各自的數(shù)據(jù)中心及其他項(xiàng)目開發(fā)他們的AI處理器。也有一些初創(chuàng)公司（例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova）看到機(jī)會(huì)加入進(jìn)來，試圖搭建設(shè)計(jì)得更好的圖靈機(jī)系統(tǒng)。像D-wave Systems和IBM等其他一些公司也在積極探索后圖靈時(shí)代的架構(gòu)。大多數(shù)芯片開發(fā)的目標(biāo)是趕上或超過英偉達(dá)。然而，據(jù)我們所知，大多數(shù)處理器都是針對(duì)今天的AI算法而設(shè)計(jì)的。

盡管需要巨大的前期開發(fā)成本，各種AI芯片設(shè)計(jì)的發(fā)展仍會(huì)進(jìn)入寒武紀(jì)式的大爆炸。人工智能的前景是如此誘人，行業(yè)玩家愿意投入巨資開發(fā)硬件，以便與基礎(chǔ)數(shù)學(xué)算法相匹配。但是，現(xiàn)有的半導(dǎo)體芯片或正在開發(fā)的新計(jì)算架構(gòu)仍然適合未來的算法，我們對(duì)此有多大信心？

考慮到算法演變的速度和幅度變化是如此之快，許多替代AI芯片設(shè)計(jì)可能還沒有正式投放市場(chǎng)就已經(jīng)過時(shí)了。我們推測(cè)明天的AI算法可能需要不同的計(jì)算架構(gòu)、內(nèi)存資源，以及數(shù)據(jù)傳輸能力等。

盡管深度學(xué)習(xí)框架已經(jīng)出現(xiàn)很長(zhǎng)時(shí)間了，但直到最近才真正付諸實(shí)踐，這要感謝摩爾定律所預(yù)測(cè)的硬件的快速發(fā)展。最初的數(shù)學(xué)不一定是為工程實(shí)踐而設(shè)計(jì)的，因?yàn)樵缙诘难芯咳藛T無法想象今天用1000美元就可以得到那么大的算力。現(xiàn)今的許多AI實(shí)現(xiàn)都是使用最初的數(shù)學(xué)模型，朝著更加準(zhǔn)確、簡(jiǎn)單且更深層的方向發(fā)展，或者添加更多數(shù)據(jù)。這樣做很快就會(huì)消耗掉GPU的計(jì)算容量。只有一小部分研究人員專注于改進(jìn)基礎(chǔ)數(shù)學(xué)和算法框架的難題。

還是有很多機(jī)會(huì)認(rèn)識(shí)并利用這些創(chuàng)新的的數(shù)學(xué)進(jìn)步的。我們了解到的方法包括精簡(jiǎn)冗余的數(shù)學(xué)運(yùn)算而減少計(jì)算時(shí)間，將卷積壓縮到較小的矩陣而減少內(nèi)存需求，或者對(duì)加權(quán)矩陣進(jìn)行二值化而簡(jiǎn)化數(shù)學(xué)運(yùn)算。這些是進(jìn)入算法進(jìn)步的第一次嘗試，其發(fā)展之快已經(jīng)開始超過硬件的進(jìn)步。

例如，從加州大學(xué)伯克利分校的研究項(xiàng)目剝離出來的DeepScale 就是將用于高級(jí)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛的AI“擠壓”到汽車級(jí)芯片中（而不是GPU）。與僅使用算法的物體檢測(cè)模型相比，他們的神經(jīng)網(wǎng)絡(luò)模型的運(yùn)算速度要快30倍，同時(shí)在能耗和內(nèi)存占用方面也有很大的提升，足以在現(xiàn)有硬件上運(yùn)行。

另一個(gè)算法跨越式進(jìn)步的例子來自艾倫人工智能研究所（Allen Institute of Artificial Intelligence）的研究人員。他們使用一種采用神經(jīng)網(wǎng)絡(luò)二值化的新穎數(shù)學(xué)方法，已經(jīng)證明可以大幅提高速度，同時(shí)降低功耗和內(nèi)存要求。這樣就可能讓最先進(jìn)的深度學(xué)習(xí)模型部署在售價(jià)僅5美元的Raspberry Pi上。其研究人員最近將這種算法和處理工具獨(dú)立出來成立專門的公司XNOR.ai，以便在邊緣設(shè)備上部署AI，并進(jìn)一步推動(dòng)AI算法的進(jìn)步。

有趣的是，新的二值化框架從根本上改變了最佳處理邏輯的類型。它們不再需要解決神經(jīng)網(wǎng)絡(luò)所需的32位浮點(diǎn)卷積，而只需要進(jìn)行位計(jì)數(shù)操作——將功率平衡從GPU移開。此外，如果這些算法與專門設(shè)計(jì)的芯片相匹配，則可以進(jìn)一步降低計(jì)算資源需求。

算法的進(jìn)步不會(huì)停止。有時(shí)需要數(shù)年甚至數(shù)十年才能發(fā)明（或者可能發(fā)現(xiàn)）新的算法。這些突破無法以與摩爾定律推動(dòng)的計(jì)算進(jìn)步所相同的方式來預(yù)測(cè)。它們本質(zhì)上是非確定性的。但是當(dāng)它們發(fā)生時(shí)，整個(gè)格局的變化往往會(huì)使現(xiàn)有的主導(dǎo)者變成脆弱的獵物。

?黑天鵝?

Nassim Nicolas Taleb在他的暢銷書《The Black Swan: The Impact of the Highly Improbable（黑天鵝：如何應(yīng)對(duì)不可預(yù)知的未來）》中闡明說，最佳決策在很大程度上取決于分析過程是不可預(yù)測(cè)還是不確定。換句話說，我們是在處理“已知的未知數(shù)”還是“未知的未知數(shù)”？算法創(chuàng)新從根本上是未知的未知數(shù)。投注到這些發(fā)展上需要持續(xù)關(guān)注，因?yàn)樗鼈兙哂胁淮_定的發(fā)現(xiàn)時(shí)間和不可預(yù)測(cè)的影響。

然而，在過去的二十年中，在應(yīng)用數(shù)學(xué)領(lǐng)域，尤其是人工智能方面，出現(xiàn)了幾個(gè)顛覆性的算法發(fā)現(xiàn)。它們與GPU一起，將AI從一個(gè)不起眼的研究領(lǐng)域帶到了商業(yè)化的最前沿。

我們認(rèn)識(shí)到這些計(jì)算領(lǐng)域“黑天鵝”的潛力，它們將使現(xiàn)有芯片架構(gòu)成為過去，或者一夜之間重新洗牌。對(duì)我們來說，這些黑天鵝可能會(huì)帶來更為安全的自動(dòng)駕駛汽車，以及許多其他未知的應(yīng)用。

- Alexei Andreev博士是Autotech Ventures投資公司的執(zhí)行董事，Jeff Peters博士是公司首席研究員，Autotech Ventures是一家專注于交通相關(guān)技術(shù)的風(fēng)險(xiǎn)投資公司。（聲明：DeepScale和XNOR.ai是Autotech Ventures投資的初創(chuàng)公司）

來源 | EDN電子技術(shù)設(shè)計(jì)

算法數(shù)學(xué)之美微信公眾號(hào)歡迎賜稿

投稿郵箱：math_alg@163.com

總結(jié)

以上是生活随笔為你收集整理的AI算法的进步超越了摩尔定律！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。