NVLink技术及影响解析
1繁華的背面
????最新GPU架構Pascal，能自己開上舞臺的Audi?A7，超過700名與會專家學者及技術人員，近百場學術會議和科研分享，連續兩晚的happy?hour、酒會和GTC?Party……在一片喧囂和歡樂當中，2014年度的GTC大會降下了帷幕。對于GPU及并行運算相關領域的技術人員和科研工作者來說，GTC大會帶給他們的也許是獲得技術信息的滿足感和充實的幸福，但對于普通的玩家和GPU愛好者而言，今年的GTC大會似乎有那么點……“不務正業”……
????對于顯卡愛好者而言，每年的GTC大會最期待的便是老黃那“飽含重料”的開幕式keynote，NVIDIA即將發布的各種新品，都將在keynote當中悉數登場。但除了多少有些遙遠的Pascal架構之外，核彈元勛今年的keynote看上去都和桌面GPU關系不大。老黃花大力氣鋪陳的各種技術規范和標準，好像都是些超算啊工業啊科學研究啊之類的領域才會用到的東西，很難快速的引起GPU愛好者的共鳴。用我一位朋友的原話來形容，這屆GTC“毫無新意，講的都是些不著邊際的事”。
????難道是NVIDIA變了么？會不會是毫無壓力的競爭態勢讓NVIDIA變得松懈和慵懶，進而失去了在GPU領域創新和開拓的動力呢？
看似不著邊際的老黃Keynote——“CUDA?EVERYWHERE”
????我們曾經說過，相對于“NVIDIA正在做什么”，我們更應該關注“NVIDIA為什么要這樣做”以及“NVIDIA即將做什么”。無論GTC的喧囂還是“毫無新意”，甚至是老黃keynote的“不著邊際”，背后所隱藏的真相才是需要被挖掘的。那么在今天的文字當中，就讓我們一起來重新審視一下這屆GTC大會的技術細節，看一看隱藏在“不著邊際”背后的真相吧。
?
2西線無戰事？
?
??? ● 西線無戰事？
??? 平心而論，“毫無新意”這種描述似乎也不是完全有錯，因為除了朦朧的Pascal架構之外，GTC2014技術大會乍看之下好像跟GPU沒有任何直接的關聯。莫名的不實感以及當前明顯不對稱的圖形市場競爭環境，讓大部分愛好者看待本屆GTC大會的眼光中都帶上了濃濃的“西線無戰事”的意味——好一幅歌舞升平的景象啊，不僅沒有新品，連新架構都是那么的云里霧里，難道是因為競爭對手的不給力，讓NVIDIA放松了在圖形領域和GPU架構層面的努力了么？
??? 不如這樣，讓我們先回顧一下本屆GTC大會上NVIDIA所公布的各項新技術和新的解決方案吧。
老黃現場展示的Pascal架構原型
??? GTC2014大會最重要組成部分便是開幕式的keynote，在這場主題為CUDA EVERYWHERE的Keynote分享當中，黃仁勛先生為與會者帶來了包括NVLink、3D?memory、Pascal架構、IRAY?VCA、JETSON?TK1、Erista?GPU、基于Tegra的駕駛員輔助系統，還有新一代單卡雙芯卡皇Titan?Z。黃仁勛先生在現場展示了大量實物，其中就包括了Pascal架構產品的原型。
JETSON?TK1為移動領域帶來了CUDA解決方案
??? 如果按照技術關聯度劃分，技術又可以被劃分成三大部分，即GPU相關的NVLink、3D?memory、Pascal架構和Titan?Z，與運算及云渲染架構相關的集群解決方案IRAY?VCA，以及與移動智能平臺及SoC領域相關的JETSON?TK1、Erista?GPU和基于Tegra的駕駛員輔助系統。近2個小時的Keynote被幾乎等分成了上述三個部分，彼此的比例是相當的。
密集云渲染解決方案IRAY?VCA
??? 如此一來，今年的GTC大會是不是“毫無新意”就應該算是一目了然了——NVIDIA仍舊在傳統的GPU領域鋪陳了不少于1/3的篇幅，用以介紹最新技術以及最新的圖形/運算架構細節，這一比例與往屆并未有明顯不同，而且也完全可以說明NVIDIA的業務劃分模式，那就是以桌面GPU架構技術為核心，向外分別輻射至大型化的HPC/工業高性能并行運算/大規模集群渲染平臺以及小型化的移動智能/車載SoC平臺。老黃并沒有倦怠，NVIDIA也沒有因為競爭環境的改變以及壓力的松懈而停止對GPU技術及架構進步的推動。
??? 那究竟是什么，讓關注GTC大會的愛好者有了“毫無新意”的不實感呢？
??
??
由Tegra?K1驅動的無人駕駛系統（點擊查看原圖）
??? 一方面，老黃本次的Keynote內容銜接的確實不太理想，放在GPU架構后面的關于超級計算機集群邏輯能力訓練的內容技術傾向過強而且名頭太大，這部分內容用濃厚的技術和哲學色彩成功的達到了喧賓奪主的歪樓作用，與會者大多沉浸在人工智能及邏輯學相關的激烈思考當中，進而有意無意的忽略了之前關于GPU架構及技術的內容。另一方面，這屆GTC大會上公布的最重要的新技術——NVLink以及3D?memory，尤其是NVLink并沒有得到進一步的深度解析，所有與會者都需要一番思考，才會發現這項技術背后的深意，以及它對未來GPU，乃至整個NVIDIA發展所帶來的影響。
??? 那么，究竟什么是NVLink？
?
3NVLink到底link了誰
●?NVLink到底link了誰
????在解析NVLink技術之前，簡明的總覽介紹是必須的。簡單來說，這是一個能夠在GPU-GPU以及GPU-CPU之間實現高速大帶寬直連通訊的快速互聯機制。
????NVLink基于點對點傳輸形式，編程模式與PCIE總線相同，作為基本傳輸單元出現的“block”(區塊)包含八條通道，每條通道20Gbps，每個block合計帶寬20GB/s，這一帶寬數值已經大大超出了PCIE?3.0的水平。不僅如此，多個block還可以組合在一起來達到提供更高帶寬或者連接更多設備的目的。
NVLink技術
????NVLink采用了中間接口(mezzanine?connector)設計，這種接口多見于擴展子卡領域，著名的GeForce?7950?GX2以及GeForce?GTX?295的兩張PCB也是如此組裝在一起的。這種接口能夠提供更強的供電能力，但缺點是接口形式與PCIE不兼容，必須針對需求單獨設計。這種不兼容還帶來了一個麻煩，初期NVLink的部分指令和通訊過程仍舊要依賴PCIE，所以設計者必須在兩者之間設計必要的聯系機制。
????NVLink的受眾相當廣泛，不僅可以依據不同需求完成GPU-GPU節點內部的高速互聯，同時還能在GPU-CPU甚至CPU-CPU之間形成高速互聯。它既可以像PCIE，也可以像QPI。所有多GPU并行工作的場合，無論是價值數億美元的Tesla超級計算機集群還是桌面的SLI都將會從中獲得更高的并行通訊帶寬。與CPU直連的特性讓其成為了未來溝通Denver和GPU架構，充當NV異構計算架構內部高速總線的備選互聯方案。另外，它還能夠在其他基于NVIDIA?GPU+第三方CPU的異構并行計算架構當中充當互聯方案。從作用上來看，它確實有取代PCIE總線的意味。
NVLink也可以作用于多GPU之間
????NVLink的出現其實頗為令人玩味，因為NVIDIA本身是PCI-SIG的成員之一，PCIE總線雖然近年來確實受人詬病，但其32G的雙向帶寬在滿足現有硬件及常規應用的需求時似乎并不困難。究竟是什么因素促使NVIDIA在此時放下手中的工作，盡心盡力的去開發一款高速互聯解決方案呢？
????來自NVIDIA自身的現實需求是NVLink出現的原因之一。早在2011年，NVIDIA便在CUDA4.0當中加入了GPUDirect2.0、Unified?Virtual?Addressing（CUDA?UVA）以及Unified?Memory?Pool的概念，CUDA?UVA允許多個GPU節點之間在一定程度上合并并共享彼此的顯存空間，同時允許GPU直接訪問并利用系統內存空間，這一系列操作都是通過PCIE總線來完成的。當某個GPU節點在應用中出現本地顯存空間不足時（題外話：實際上單節點本地內存不足的現象在GPU大規模并行計算中相當常見，而且已經成了困擾并行化進程的一大瓶頸，亦即“存儲墻”，無論NVIDIA的Tesla還是Intel的PHI都未能“免俗”，而包括3D?memory技術在內的一系列堆疊式顯存應用的出現，也有相當的應對該問題的意味。存儲墻問題相對復雜，在此不多贅述。），它可以利用GPUDirect2.0特性，透過PCIE總線來使用和操作其他節點的顯存以及系統主存。顯而易見的，根據短板原則，即便此時系統主存還有其他節點顯存的帶寬能夠達到幾百乃至數千GB，該節點能夠獲得的有效帶寬也依舊只能是PCIE總線帶寬。越來越頻繁的跨節點操作所催生的通信帶寬需求，讓NVIDIA有了開發NVLink來應對跨節點內存操作以及存儲墻問題的需求。
受制于PCIE總線帶寬的CUDA?UVA
????翻越存儲墻并不是催生NVLink的全部理由，強大的外部壓力和競爭態勢同樣是NVLink誕生的重要誘因。這一強大的外部壓力，來自Intel。
?
4藍色的陰影
?
● 藍色的陰影
??? 盡管老黃嘴上一直不肯承認，但對于目前的NVIDIA而言，眼前最大的對手已不再是昔日里硅谷斗士領導下的紅色勁旅，而是一直高高在上的“另一位藍色巨人”——Intel。兩者的戰場，也已經從單純的HPC整體解決方案領域蔓延到了高性能并行計算節點層面。
Intel一直沒有停止在邏輯結構層面的研發
??? 隨著大數據以及智慧城市概念的日趨火熱，超大規模并行計算能力正日益受到各方的重視，甚至連五角大樓都跑來用EXA狠狠的刷了一把存在感。這是一個總量無法估算的龐大領域，其中所能夠產生的資源和利潤空間誘惑是任何一家半導體芯片供應商都無法抗拒的。當前HPC領域的需求大多集中在大規模并行計算層面，而Intel在該領域的競爭力，顯然是毋庸置疑的。它不僅擁有完整的獨立CPU以及CPU+GPU異構架構解決方案，其最新推出的PHI計算卡更是表現出了強悍的理論性能和實際效率。除此之外，Intel對HPC領域的投入也十分巨大，大量基于大規模并行計算的研究項目，背后都有Intel的身影。
IVY Town采用的新結構Ringbus
??? 無獨有偶，Intel也在積極改進自己的高速邏輯互聯機制，在最新的ISSCC以及IEEE2014上，Intel詳細展示了新一代ringbus技術。新的Ringbus改變了vring在多核心之間的布置和互聯形式，通過路徑優化達到了用最少的ring覆蓋最多核心，并讓數據在ring之間快速跳轉的目的。這種新的Ringbus改善了多核心數據共享的延遲情況，提升了多核心并行運算時的整體任務效率，如果被應用在新一代PHI計算卡當中，將會使其運算效率得到進一步提升。
兩種可能的新Ringbus互聯模式（圖片源自后藤弘茂先生）
??? 與NVIDIA相比，盡管Intel也同樣會面對來自存儲墻的壓力，但更為優秀的MC設計能力以及無圖形負擔等眾多優勢讓其能夠更為輕松的擴展PHI的本地內存容量，事實上Intel也確實正在做著這樣的事，PHI多達8GB的本地顯存在容量上是明顯超過Tesla方案的。再加上Intel“天生”對PCIE總線的深入了解以及其所帶來的優化可能，對于Intel而言，來自PCIE總線帶寬的壓力并沒有NVIDIA那么緊迫和明顯。它只需要做好運算效率的提升以及編程環境的改善，便可以讓下一代計算卡解決方案保持良好的競爭力。
如適當應用新型Ringbus，新一代PHI的效率將進一步提升
??? 顯而易見，這樣的競爭環境對于希望在HPC領域有一番作為的NVIDIA是不利并且壓力巨大的。它不僅缺乏作為HPC基礎的通用處理器節點解決方案，同時還受制于PCIE總線的困擾，如果不尋求一個突破口，無論EXA還是其他大規模高性能并行計算，NVIDIA的競爭力都將會受到影響。
??? 要繼續增強自身的競爭力，要在HPC領域承受來自Intel的，尤其是PHI的沖擊，要解決包括存儲墻在內的一系列問題，NVLink便是在這樣的需求背景下誕生并于本屆GTC大會上來到大家面前的。問題是這一技術要如何來增強NVIDIA的競爭力呢？我們已經解析過了，NVIDIA需要依賴其他通用CPU節點，而NVLink是一款能夠溝通GPU以及CPU節點的互聯機制，所以它背后所link的CPU節點，正是可以幫助NVIDIA填補處理器這一重要環節缺失的靠山。這位靠山，就是原教旨的藍色巨人，IBM。
?
5合縱還是連橫？
?
● 合縱還是連橫
????Intel，NVIDIA和IBM，這三位在HPC領域的態勢以及彼此的關系其實是相當微妙的。它們不僅彼此競爭，同時也彼此依賴。
NVIDIA的新盟友——IBM
??? Intel曾經是傳統意義上的CPU節點方案供應者，在并行計算興起以及傳統CPU節點的規模拓展遇到瓶頸之后，Intel憑借PHI完成了華麗的轉身，眼下的Intel擁有完整的CPU節點、GPU節點異構解決方案。但由于缺乏生態環境的支持以及完全放棄了MMX/XMM/YMM等常規指令集，盡管擁有相對簡便的軟件平移和開發環境，可是PHI計算卡依舊缺乏業界的接納。PHI計算卡出現之后一年時間里瞬間飆升但又馬上歸于沉寂的被關注度和裝機總量，就是這種現狀的最好說明。在這種情況下，Intel更多地還是要與NVIDIA的Tesla進行配合，共同打造滿足客戶需求的HPC解決方案。
??? IBM的處境更加尷尬，它曾經是HPC領域無可撼動的王者，基于Power架構的超級計算機集群代表了HPC領域運算效率的最高水平，同時也仍舊是Top500前列的常客，但IBM面前的瓶頸是非常明顯的。盡管實際效率要明顯高于異構方案，但純CPU方案的痼疾，諸如難以釋放規模、性能功耗比較低以及成本更高等缺點正在困擾著IBM，基于單純CPU解決方案的超級計算機集群正變得稀少，在當前的HPC業界，能夠更輕松的拓展規模，同時擁有良好性能功耗比的CPU+GPU異構解決方案是更受歡迎的，而暫時無法獨立提供異構解決方案的IBM處境無疑是困難的。2014年第一季度利潤同比下滑21%，應該已經或多或少的反映出了IBM當前的境遇。
基于Power7的超算雖然效率超高，但代價不菲
????NVIDIA一直都是異構并行計算的忠實支持者，同時也已經憑借經營多年的CUDA生態體系建立了屬于自己的GPU異構并行計算生態圈，這一生態圈的穩固度相當高，已經達到了足以暫時屏退Intel攻勢的程度。但是NVIDIA的問題同樣明顯，那就是它只能提供GPU解決方案。無論是賴以完成調度管理工作的CPU節點，還是溝通異構架構的高速數據總線，NVIDIA都是不具備的。所以在當前的HPC業界，NVIDIA必須與其他CPU及高速總線供應商達成合作才能生存。
??? 很明顯，以三足鼎立之勢而言，NVIDIA處在可以聯合Intel與IBM當中的某一方的位置上，擺在NVIDIA面前的是一道合縱還是連橫的選擇題。而且就目前看來，這道選擇題似乎并不難做——如果選擇Intel，NVIDIA雖然可以在短期內避免同Intel“翻臉”并維持現有的相對穩定安逸的競爭環境，但無論PHI的威脅還是PCIE總線的限制顯然都將會在IBM日漸式微之后被Intel當作反攻的利器。所以對于當前的NVIDIA來說，聯合IBM共同對抗Intel，利用一切機會跳脫出能夠被Intel制衡的環境，并且在保持必要獨立性的前提下維持三足鼎立的相對均勢，是當前環境下最理想的選擇。而NVLink，就是這個選擇的結果。
NVIDIA的異構解決方案離不開通用處理器
??? 所以，我們看到了能夠連接其他CPU節點的NVLink，同時看到的還有背后藍色巨人的身影——IBM全程參與了NVLink的開發過程，并在GTC大會的同時以官方聲明的方式宣布下一代Power架構將加入NVLink的支持，這也是NVIDIA加入OpenPower聯盟以來最重要的一次實際行動。與藍色巨人的聯合，其實才是本屆GTC大會最重要的猛料。
??? 現在，您還會覺得NV已經西線無戰事，整個GTC大會只說了一些“毫無新意”的東西么？
?
6再看無戰事的西線
?
● 再看無戰事的西線
??? NVLink技術無論對NVIDIA還是對IBM而言，都將產生相當深遠的影響。它不僅改變了HPC領域原本三家各自為戰的局面，同時也深遠的影響了NVIDIA和IBM。
??? 對于IBM而言，NVLink的出現為其打開了一扇快速且相對便捷的通往異構計算架構的大門。NVLink帶來的NVIDIA GPU架構不僅讓IBM無需投入大規模的資源進行新的GPU并行架構研發，而且還擁有了提供異構計算架構解決方案的能力。打通異構架構的聯系不僅為IBM提供了一片更為廣闊的市場和利潤空間，Power架構的進入也為異構并行方案帶來了更為高效的管理機制，這無論對于受困于CPU單線作戰的IBM，還是受困于有效運算效率難以提升的異構并行運算界而言而言，無疑都是相當有利的前景。
有了NVLink，Power架構也有了異構計算的條件
??? 對于NVIDIA來說，與IBM的合作為自己帶來了更多可能性。它既可以以更深入的形式獲得Intel之外的更為高效的通用處理器節點支持，又可以收獲一條PCIE之外的全新的GPU高速互聯機制，這在很大程度上減輕了NVIDIA對Intel的依賴性，同時增加了它的競爭籌碼。在此基礎上，聰明的NVIDIA也并沒有徹底摒棄對PCIE總線的支持，NVLink與PCIE總線想通的編程模式以及部分共用的指令，都顯示了NVIDIA試圖平衡競爭態勢，并在其中保持更多自由和彈性的意圖。
突破CUDA生態環境的“包圍”是Intel亟待努力的方向之一
??? Intel的處境同樣發生了相應的變化，當自己的兩個最重要對手聯合在一起之后，先前Intel對IBM所擁有的CPU+GPU異構計算架構的優勢將不再明顯，NVIDIA對它的依賴也進一步減輕，在自己所面臨的軟件及開發生態環境相對欠缺的問題沒有得到改善之前，Intel所面臨的來自正面的競爭壓力無疑將會變得更大。一個對手的能力有了提升，另一個對自己還有依賴的潛在對手現在也不在那么依賴自己，Intel的壓力是可想而知的。可以預見，Intel勢必會在未來繼續加大自己在HPC領域的投入，推出更強大的PHI后續產品的同時開發更多更新且更有競爭力的技術。
??? AMD的狀態也許真的讓西線處在無戰事的狀態下，但很明顯的，NVLink為我們帶來了另一條戰線的火藥味。
?
7關聯性問題
?
● 關聯性問題
??? 看到這里，也許您會認為我們今天所進行的還是一次“不著邊際”的思考過程。在鋪著了數千字的篇幅之后，GTC大會上所呈現的我們認為最重要的技術，好像還是一團跟桌面GPU以及顯卡沒什么直觀聯系的“陽春白雪”。“老黃這不還是因為AMD不給力而變得懈怠，變得不重視GPU和顯卡了么？”
??? 其實不然，NVLink技術以及整個NVIDIA的發展核心，其實依舊是與GPU以及顯卡息息相關的。
NVLink與PCIE總線對比
??? 首先，NVLink技術并不是一個“HPC only”的高端技術，它完全可以被用來強化現有的圖形應用場景，其所帶來的更大的GPU之間與CPU的互聯帶寬可以讓SLI場合，尤其是多卡SLI以及單卡多芯場合從中獲益。NVIDIA未來的單卡雙芯卡皇，將有可能優先以NVLink作為卡上雙芯通訊機制，先通過NVLink完成雙芯通訊，然后再匯總至PCIE總線，會是未來單卡雙芯解決方案的一個理想選擇。
??? 單顯卡游戲應用目前對總線帶寬的敏感程度雖然不及多卡，但隨著更大尺寸材質的應用以及運算量的攀升，為桌面GPU提供更大帶寬總線的需求遲早會出現，NVLink顯然是理想的選擇。不過話分兩頭，如何在桌面推廣NVLink技術，或者盡可能的將其同當前的PCIE總線結合在一起，是這一切實現的基礎。
集成NVLink技術的Pascal架構
??? 接下來，NVLink技術對NVIDIA接下來的GPU架構同樣有著重要的價值。異構結構和Project Denver是NVIDIA GPU架構發展的兩個重要節點，NVLink的出現為兩者的結合帶來了一種新的互聯選擇。如果NVIDIA能夠提供高于現有Xbar方案的帶寬/晶體管比例，那么NVLink在GPU內部充當ALU團簇同LOC之間的互聯總線，將會是一個相當不錯的選擇。
NVLink同樣可以為Tegra提供幫助
??? 最后，NVLink還為NVIDIA的Tegra以及移動GPU帶來了更多可能性，無論是ARM還是Denver處理器，都將可以通過NVLink連接到新一代架構移動GPU上。NVIDIA對自有總線的優化，無疑將會進一步提升未來Tegra處理器的效率和競爭力。
??? 隨著完整版Maxwell架構的臨近以及Pascal架構的公布，NVIDIA正式進入單GPU異構結構的步伐正在加快。NVLink技術的出現，無疑給NVIDIA未來的GPU架構及顯卡產品帶來了更多可能。
?
8綠色的未來
?
● 綠色的未來
??? 至此，您還會覺得老黃在GTC2014上的表現是因為西線無戰事而導致的不務正業么？NVIDIA并沒有因為競爭環境的松懈而跟著松懈。也許AMD確實已經無法在對NVIDIA的GPU架構研發施加有效的壓力，但技術的進步依舊在NVIDIA內部不斷的出現著。
并未“不務正業”的GTC2014
??? 誠然，也許催生這些進步的動力并非直接來自桌面及圖形領域的需求，但來自HPC及大規模并行計算領域的推動同樣可以有效的促進NVIDIA推進技術的前行。運算和圖形本就是一家，DirectX 11出現之后，兩者間原本無奈的界限已經變得模糊，而且還將在未來變得更加模糊。圖形操作和運算將越來越多的建立在大規模并行化運算的基礎之上，圖形就是運算，運算就是圖形。以并行運算為基礎進行的技術進步，將會越來越直接且方便的為顯卡進步帶來好處。
原教旨的并行化計算
??? 其實不用提什么API和操作，只要我們以稍微宏觀一些的眼光去看待現有的超級計算機集群，將其中的每一顆CPU及每一塊計算卡都看做是一個點，就會很方便的發現它們與單顆GPU之間的相似性。大量計算節點的并行多任務處理過程，與大量ALU的并行多線程處理在數學模型上存在很多等價的部分，針對大規模并行計算架構進行的開發，是不可能對早已基于大規模并行架構進行設計的GPU產生不了影響的。
值得期待的Pascal
??? 無論進步的動力源自何處，NVIDIA繼續推動GPU架構及相關技術進步的努力應該都不會停止。不斷提升GPU架構的性能功耗比以及絕對性能，在未來相當長一段時間內都將成為NVIDIA的核心任務。NVLink技術所帶來的更大規模的帶寬以及更高效的節點通訊能力顯然有助于這一目標的實現，而且還能改變HPC及其他領域的一系列競爭格局的變化。這樣富有積極意義的技術出現在GTC技術大會當中，我想應該可以被當做NVIDIA“誠意”的表現了。
同樣值得期待的NVIDIA
??? NVLink等本屆GTC大會上釋出的技術，大多會在Maxwell之后的Pascal架構當中正式來到眾人的面前。沒有展示更多完整版Maxwell架構的細節是本屆GTC大會的一大遺憾，但技術的進步以及未來業界格局的變化仍然給我們帶來了許多新的希望。大家稍安勿躁，讓我們一起期待這些進步和變化的到來吧。
?
?
作為視覺計算的龍頭公司——NVIDIA，每年都會舉辦盛大的GTC盛會，但在盛會之后我們進入了深深的思考，這樣的技術、那樣的產品，有著怎樣的意義？且聽本文作者為你一一道來。
林光楠
再分享一下我老師大神的人工智能教程吧。零基礎！通俗易懂！風趣幽默！還帶黃段子！希望你也加入到我們人工智能的隊伍中來！https://blog.csdn.net/jiangjunshow
轉載于:https://www.cnblogs.com/skiwnchiwns/p/10345173.html
總結
以上是生活随笔為你收集整理的NVLink技术及影响解析的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： kali:用TheFatRat攻击win
- 下一篇： linux下载安装自我见解