中国技术经济学会区块链分会秘书长贾永政:人工智能与区块链上的存储和计算
聚英數科|中國技術經濟學會區塊鏈分會秘書長賈永政:人工智能與區塊鏈上的存儲和計算
8月18日,由鏈世紀財經、Ever鏈動主辦,聚英國際、PAI Community聯合主辦,BTRAC全球數字網絡高等智庫、察訪區塊鏈、幣世界、碳鏈價值協辦的鏈世紀財經對話分布式存儲No.6在金色財經及近200個社區平臺同步直播。本次活動戰略合作金色財經、Cointelegraph、火星財經、布洛克科技、星際視界五家業界優秀媒體,50余家區塊鏈媒體傾情支持。
此次活動以“人工智能與區塊鏈上的存儲和計算”為主題,特邀中國技術經濟學會區塊鏈分會秘書長賈永政擔任嘉賓,鏈世紀財經CEO焦仕可擔任主持,共同解讀人工智能與區塊鏈上的存儲和計算等熱點話題,共享分布式存儲領域商業機遇。特邀嘉賓:賈永政
中國技術經濟學會區塊鏈分會秘書長,Ever Chain創始人&CEO。
清華大學計算機科學實驗班(姚班)2009級本科,交叉信息研究院博士,曾赴加州大學伯克利分校、賓夕法尼亞大學做訪問學者,2013年參與創辦是全球最大中文MOOC平臺—學堂在線,2018年創辦Ever Chain。研究方向包括:大規模社交網絡、云計算系統的動態優化,以及將人工智能和區塊鏈技術應用到大規模用戶的產品與服務中,在互聯網、分布式系統、人工智能、博弈論等多領域頂尖會議/期刊(如WWW、IEEE/ACM Transactions on Networking、JSAC、ICSE、ICDCS等)發表多篇學術論文。
主持人:焦仕可
鏈世紀財經CEO,BTRAC全球數字網絡高等智庫合伙人。
鏈世紀與行業內頂尖專家特別推出對話系列:《對話新基建》《對話IPFS》《對話Filecoin》《對話新三板》等,與各位行業專家、先行者等大咖共同交流,幫助更多人抓住新賽道中的新機遇。
精彩內容連連看
Q1、人工智能與區塊鏈上的存儲和計算有什么關系?
*【賈永政】:*首先,無論是更早的大數據、云計算,還是當今的人工智能技術,都是建立在對數據的安全存儲、價值挖掘以及隱私保護的基礎上。
眾所周知, 人工智能的算法需要大量的數據和模型,我們需要對海量的數據進行存儲和計算。
誕生于2011年的卷積神經網絡(CNN)AlexNet,共用0.6億個參數
Google的NLP模型BERT,流行一時,共有3億個參數。
GPT-3 模型的前身GPT-2,有15億個參數。
英偉達的Megatron-BERT,有80 億參數。
2020年2月,微軟Turing NLP,有170 億參數。
2020年6月,Open AI的GPT-3問世,有1750億個參數。是迄今為止最大的AI模型。
同時,全球用于各種人工智能和大數據系統的數據也在以每年1800億TB的速度不斷增長,這反映了AI對于海量數據的存儲和計算需求。很明顯,AI已經進入了數據存儲和計算密集型的時代,我們需要充分保障AI數據和算法模型的安全性,防止數據和模型參數丟失。同時,我們還要保障數據的隱私,防止數據在使用的過程中泄露用戶隱私造成損失。
我們注意到,分布式存儲和區塊鏈技術為AI提供了更好的安全保障。在傳統的數據存儲系統中,我們往往需要通過冗余備份和容災技術保障數據和模型的安全存儲。此外,以IPFS為代表的的分布式存儲使得AI的數據和算法模型被更加安全地存儲,有效地防止了單點故障。同時,區塊鏈技術可以很好地為AI數據和算法提供不依賴可信第三方的訪問權限控制,并可以在區塊鏈上細粒度地追溯到數據是如何被存儲以及使用的。因此,我們可以通過區塊鏈建立更好的數據存儲和共享機制,促進數據更好地流通并產生價值,并保護好數據的隱私。
同時,我們還要進一步思考,如何更好地將AI和區塊鏈技術結合起來,使得二者能夠相互融合,彼此促進。
在這里,我想和大家分享Project PAI提出的有用工作量證明(Proof of Useful Work,即PoUW)項目,我認為這個研究項目代表了AI和區塊鏈技術融合的趨勢,并有機會改變這個行業。
PoUW的目的在于使用AI的計算來替代傳統的PoW哈希運算,使得在區塊鏈上的算力能夠用于實際的AI應用,讓這些算力變得“有用”。未來,這些算力不僅可以用于機器學習訓練,還可以拓展到通用的鏈上計算,如鏈上數據分析、基于密碼學的鏈上隱私計算(如零知識證明、多方安全計算)等。
眾所周知,比特幣的開采是一個十分消耗時間和資源的過程。每添加一個區塊鏈交易區塊,礦工們都必須花費大量成本,比特幣協議所用的工作量證明(Proof of Work, 即PoW)機制,通過大量的哈希運算來完成共識,這些計算工作本身并沒有其他用途。基于在區塊鏈上訓練機器學習模型,提供了一種新穎的“有用工作量證明”(Proof of Useful Work, PoUW)協議。礦工在誠實地進行一定量的機器學習訓練工作之后可以得到一次鑄造新虛擬貨幣的機會,獲得出塊獎勵。同時,我們在網絡中引入了對于AI和鏈上計算的客戶,客戶會向PoUW區塊鏈網絡提交AI訓練任務并支付token給參與機器學習訓練完成任務的節點。這是對于參與網絡的一種額外激勵,除了系統提供的出塊獎勵,并且是基于真實需求的。
下圖給出了一個PoUW的工作模型,描述了在PoUW系統中各個參與者是如何協同工作的:首先,客戶可以通過支付PAI幣,向PAI的PoUW網絡提交一個機器學習或者鏈上計算任務。工作節點(礦工)需要執行AI訓練,完成訓練和計算任務,網絡中的監督者和評估者需要對工作者的工作進行驗證,評估收益分配和支付方式,并防止拜占庭節點的惡意行為,普通節點還可以在PoUW網絡中執行常規的鏈上交易,享受通用的區塊鏈服務。如此,PAI 的PoUW區塊鏈保證了整個機器學習訓練過程的安全性,使得現實中的AI算法任務利用區塊鏈網絡的算力來解決。同時,為區塊鏈引入了更多的激勵, 使PoUW區塊鏈上的通證(PAI幣)有了更豐富的應用場景。
目前,Project PAI的PoUW項目正在測試網階段,并將在明年上線主網。為了使得AI和鏈上計算更好的運行于區塊鏈網絡,我們還要考慮區塊鏈的存儲需求。PAI區塊鏈設計并實現了相應的數據存儲協議(PDP-2),該數據協議已經用于供應鏈管理和商品溯源等領域。未來,PAI數據存儲協議還將接入BitTorrent和IPFS網絡,來更大規模地支持鏈上的AI訓練和通用計算。同時,基于PAI數據存儲協議,Project PAI還研發了區塊鏈數字身份認證和權限系統 PAI PASS,用于在區塊鏈上更好地共享并管理數據,保障用戶的隱私。
在此,感謝Project PAI為我們提供了AI和區塊鏈結合的最新研究成果,PoUW項目作為今天的案例,為我們描述了一個完整的AI和區塊鏈存儲和計算相結合的系統架構。
更多關于PAI區塊鏈和PoUW的研究成果,歡迎大家查看:
https://projectpai.com/pai-research/
Q2、IPFS被譽為新一代互聯網底層協議,您認為它對分布式存儲的發展具有怎樣的作用?
*【賈永政】:*首先,分布式存儲系統和分布式文件系統不一定是去中心化的,它可以是由一個主體發起并運營的可擴展的存儲系統架構,通過使用多臺存儲服務器分擔存儲負荷,并使用位置服務器定位存儲信息,從而系統的可靠性、可用性和數據存取效率。傳統的經典分布式存儲系統包括GFS、Hadoop、glusterFS等,他們都對分布式存儲技術產生了重要影響。
特別地,IPFS (InterPlanetary File System) 是一種點對點(P2P)的分布式文件系統,它可以是完全去中心化的,這一點是不同于上述幾種分布式存儲/文件系統的。因此,IPFS可以和區塊鏈系統很好地結合使用,并在系統中引入激勵機制(Filecoin)。
同時,IPFS還可以成為新一代互聯網底層協議來使用,作為HTTP的替代版和升級版是完全沒問題的。因為與HTTP不同,IPFS使用的P2P傳輸協議幾乎不會有404和502等情況。同時文件經過加密處理和碎片化處理后將被永遠儲存。利用更多閑置硬盤和帶寬,IPFS將會不再需要浪費大量的設備維護,極大節約帶寬和存儲資源,極大的降低數據傳輸的成本。
在這里簡單介紹下IPFS的工作原理:
IPFS中每個文件及其中的所有塊都被賦予一個稱為加密散列的唯一指紋。
IPFS通過網絡刪除重復具有相同哈希值的文件,通過計算確認哪些文件是冗余重復的,并跟蹤每個文件的版本歷史記錄。
每個網絡節點只存儲它感興趣的內容,以及一些索引信息,有助于弄清楚誰在存儲什么。
查找文件時,你通過文件的哈希值就可以在網絡查找到儲存該文件的節點,找到想要的文件。
使用稱為IPNS(去中心化命名系統),每個文件都可以被協作命名為易讀的名字。通過搜索,就能很容易地找到想要查看的文件。
IPFS開源協議始于2014年,目前已安全穩定運行6年,在GitHub的活躍度非常好,開發者們的參與度很高。關于IPFS的激勵機制(Filecoin)以及基于IPFS可以構建各種互聯網和區塊鏈應用,后面我們會詳細介紹。
Q3、您說到新的數據計算技術策略是將計算轉移到存儲,而不是之前的將數據從數據源轉移到CPU后再進行計算,這怎么理解?
*【賈永政】:*在傳統的系統架構設計中,存儲和計算往往是分開的,通常是將數據從數據源(如內存、磁盤等存儲設備)轉移到CPU后,然后再進行計算。這種設計在有的時候并不是最優的,正如我們講到,AI技術是數據存儲和計算密集型的,如果能夠更好地打通計算和存儲的隔閡,就會提高數據計算和存儲的效率。
長期以來,研究人員已經意識到傳統的以CPU為中心的大數據集處理效率低下。因此,為了數據密集型處理性能和能源效率更高,不少研究工作開始探索新的存儲與計算技術:近數據計算(NDP:Near Data Processing),該策略將計算轉移到存儲(即數據源),而不是之前的將數據從數據源轉移到CPU在進行計算。這些研究認為,磁盤中的多余計算資源可用于在其本地運行數據處理任務。隨著固態硬盤(SSD)的不斷發展以及數據密集型應用程序的出現,近年來,近數據計算(NDP)引起了存儲、高性能計算、數據庫系統等領域的研究者的廣泛關注,并取得了豐富的研究成果。
除了上面講述的近數據計算的技術之外,我認為,去中心化存儲技術和區塊鏈技術給了我們更多的融合存儲和計算技術的可能。在IPFS里面承擔存儲的節點,未來也有可能進行相應的鏈上計算。在Project PAI的PoUW區塊鏈里面進行訓練的礦工或者檢驗訓練結果的驗證者,同時也可以承載數據和AI算法模型的存儲工作,這個理念和近數據計算是一致的。將去中心化存儲與計算結合在一起,將會帶來更多應用場景,特別是對于AI和大數據科學等數據密集型的應用,將會極大地提高我們進行計算和存儲的效率。
Q4、5G和AI的快速發展會對分布式存儲技術有怎樣的促進作用?
【賈永政】:5G網絡的主要目標是讓終端用戶始終處于聯網狀態,相比4G網絡(4G LTE)服務的傳輸速率僅為75Mbps,5G網絡已成功在28千兆赫(GHz)波段下達到了1Gbps。因此,5G可以極大地提高網絡中點對點傳輸的效率,提升帶寬,降低延遲。
5G網絡的超大網絡容量提供千億設備的連接能力,從而提高各類數據和文件的存儲、傳輸和共享效率。
同時,5G網絡也提升了系統的協同化和智能化水平,表現為可以實現多用戶、多點、多天線的協同組網,以及網絡間靈活地自動調整。這也為更加靈活的去中心化存儲架構提供了更多可能。
AI的技術我們剛才講到,其技術本身創造了巨大的對于存儲技術(包括分布式存儲)的需求,同時也促進了存儲和計算的融合。同時,AI的算法也可以用于對于分布式存儲資源的智能調度,更好地匹配存儲市場的供應和需求,從而提高市場的效率,使得分布式存儲技術變得更加智能,這也是分布式存儲和云計算領域的熱門研究課題。
Q5、從技術角度來看,人工智能和分布式存儲技術趨勢會帶來哪些行業機遇?比如創業賽道、項目案例?
*【賈永政】:*首先,去中心化存儲是個很大的市場,IPFS給我們提供了很大的想象空間。基于IPFS構建更豐富的互聯網應用和區塊鏈應用,是創業者們一個很好的選擇,
我們剛才所提到的近數據計算、智能化存儲都是很好的AI+存儲的研究方向。
基于去中心化存儲的去中心化自治組織(DAO)也是一個很好的方向,去中心化存儲為DAO創造了更大的容量和更多的可能性。
在眾多IPFS應用中,金融是個很好的方向,特別是當今大火的去中心化金融(Defi)
另外,我們剛才提到 Project PAI的PoUW,很好地將AI與鏈上的計算融合在一起,再結合去中心化存儲技術,就可以把AI與區塊鏈的計算和存儲做成一個統一的解決方案,應用于各種現實中的場景。
Q6、您認為Filecoin協議會讓分布式存儲成為一個大規模的區塊鏈落地應用項目嗎?
【賈永政】:IPFS作為一個開源的去中心存儲協議,誕生于2014年,網絡運行平穩。
Filecoin機制的設計為這個去中心化存儲協議引入了激勵機制,如同Bitcoin一樣,加密經濟學中的激勵機制是協調去中心化(去信任化)系統中節點與節點之間生產關系的模型,好的機制設計才能保障系統按照預期的方向運行。
Filecoin 是基于 IPFS 協議的激勵機制及公鏈系統,IPFS 協議定義了文件在分布式系統中如何存儲、檢索和傳輸,能永久、去中心化保存和共享文件,這是一種內容可尋址、點對點分布式協議。FIL 為 Filecoin 發行之代幣,用于激勵 Filecoin 網絡中存儲及檢索市場各個角色的行為。
Filecoin 采用混合共識機制 :以預期共識 (EC) 為主(相當于PoW+PoS混合共識),復制證明(PoRep) 及時空證明(PoSt) 為輔。
在預期共識中,礦工贏得選舉的可能性跟礦工當前的存儲能力成正比。礦工的存儲能力則是利用時空證明 (PoSt) 及復制證明 (PoRep)來證明。時空證明可以利用證明鏈及時間戳證明礦工在一定時長內存儲數據,即使驗證者不在線,也能夠在未來去驗證礦工在該段時間內生成了證明鏈,有效防止臨時生成數據攻擊。
Filecoin 經濟模型中存在兩大市場:存儲及檢索市場,兩個市場中分別存在客戶及礦工。除了上述兩個角色外,Filecoin 經濟模型生態中有開發者及投資者。開發者開發新工具、應用程序和提供概念驗證建議,優化 Filecoin 生態及存儲檢索市場。開發者提交提案可獲得基金會津貼。投資者通過在二級市場提供流動性,提升 Filecoin 網絡價值。
目前在IPFS生態中,已經有各種不同類型的應用,大家可以參考下面這張圖:
上圖展示了基于IPFS開發的各類應用,我們已經可以看到IPFS被廣泛應用于數據存儲、社交媒體、瀏覽器、金融、內容、NFT、治理、交易所等各個領域。我們相信,未來IPFS會有更多的應用場景,給我們帶來更多驚喜。
這里面有個知乎鏈接,介紹了上面的一些應用,歡迎大家查看:
https://zhuanlan.zhihu.com/p/112503120
自由提問精選
Q1-1、PAI的存儲技術現在開發到哪一步了?PAI區塊鏈存儲系統相對于其他系統,有什么優勢,可以用IPFS做底層么?
*賈永政:*Project PAI的存儲技術基于PAI數據存儲協議PDP-2,目前已經可以提供相應的技術服務,前一段還和Uncle Saba’s合作用于食品的溯源和供應鏈管理。另外,PAI PASS是構建于PAI存儲協議之上的身份認證和數據權限控制系統,未來在數據共享上會有更多應用場景。Project PAI的存儲系統是構建于存儲底層的應用服務協議,底層可以為IPFS和Bittorrent等去中心化網絡。
Q1-2、針對賈博士的分享。BTRAC全球數字網絡高等智庫技術專家王東臨博士指出:存儲行業的分布式存儲是中心化存儲的一種類型,區塊鏈行業的分布式存儲是去中心化存儲,二者不是一回事,IPFS是沒有對文件進行加密處理和碎片化處理的,這些都是中國礦工給加的戲,都是虛假宣傳。您是如何看待的?
*賈永政:*分布式存儲和去中心化存儲是兩個概念,不是通過行業來區分的。去中心化的存儲一定是分布式的。存儲行業和區塊鏈行業也是不分家的,區塊鏈需要存儲的基礎設施予以支持。關于IPFS是沒有對文件進行加密處理和碎片化處理的,這些都是中國礦工給加的戲,都是虛假宣傳。最原始的協議確實沒有,感謝王博士的指正!
Q1-3、存儲行業會在很多行業存在剛需,是否和defi一樣會引起新的趨勢呢?
賈永政: 我更看好存儲行業。無論是現代存儲技術的發展還是IPFS,都有很大的潛力。Defi對于區塊鏈行業也有重大貢獻。
Q1-4、Filecoin測試網上線再次推遲,為什么會這么難呢?
賈永政:我覺得Filecoin的機制設計是一件很復雜的事情,所以在系統測試中會遇到一些問題。所以個人對Filecoin目前的技術路線持保留態度,但是IPFS的系統激勵是一定要有的。
總結
以上是生活随笔為你收集整理的中国技术经济学会区块链分会秘书长贾永政:人工智能与区块链上的存储和计算的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: xp系统远程桌面关闭计算机,Window
- 下一篇: Java获取本月有多少天