為什么80%的碼農(nóng)都做不了架構(gòu)師？>>> ??

摘要：?如今，高性能計算已在不知不覺中滲透到人類生活的方方面面。從材料科學到石油勘探、金融市場、應急管理、醫(yī)學和互聯(lián)網(wǎng)等領域，高性能計算無一不大顯身手，幫助快速攻克各種疑難問題。

HPC（High Performance Computing，高性能計算）通常指將計算能力積聚，用并行計算方式解決更大規(guī)模的科學、工程和商業(yè)問題。如今，高性能計算已在不知不覺中滲透到人類生活的方方面面。從材料科學到石油勘探、金融市場、應急管理、醫(yī)學和互聯(lián)網(wǎng)等領域，高性能計算無一不大顯身手，幫助快速攻克各種疑難問題。

?

針對日益增長的?HPC?計算能力需求，阿里云在現(xiàn)有基礎設施之上推出了彈性高性能計算E-HPC產(chǎn)品，為用戶提供一站式的高性能計算服務的云平臺，即HPCaaS公有云服務。2017年10月12日，產(chǎn)品正式發(fā)布公測上線，截止到目前，已有三百多家來自國內(nèi)外的高性能計算用戶在使用E-HPC公測資源，測試的應用主要集中在科學計算，AI／機器學習，設計／仿真／渲染等領域。

項目背景

由于高性能計算集群昂貴，緩慢的初期建設投資，包括集群的維護、升級，管理和一次性購買昂貴的軟件許可證的困難，如何“不用排隊，申請任意規(guī)模，有豐富可共享的計算軟件環(huán)境”成為高性能用戶普遍的訴求。另一方面，高性能計算用戶對計算性能，擴展性和并行效率的追求，使得他們無法快速擁抱云計算虛擬化的計算資源。

隨著云計算技術(shù)的逐漸成熟，高性能計算用戶對HPCaaS的需求變得越來越實際和迫切，HPCaaS包括使用集群服務器和存儲作為資源池的功能，用戶提交其作業(yè)請求的Web界面，以及可以在給定集群上并行調(diào)度大規(guī)模并行應用的能力，調(diào)度多個不同并行應用程序的智能調(diào)度機制，同時考慮到不同的應用程序性能特征以達到最大總體生產(chǎn)力。

為此，阿里云開發(fā)了自身IaaS云產(chǎn)品之上的高性能計算PaaS平臺，基于阿里云彈性計算ECS實例、異構(gòu)計算EGS實例、超級計算集群SCC、虛擬專用網(wǎng)VPC、高可靠高可用的NAS存儲等組件，構(gòu)建了一整套HPC用戶熟悉的并行計算軟件環(huán)境，用戶在阿里云公共云上申請集群資源，快速構(gòu)建和安裝部署HPC需要的并行調(diào)度管理軟件、通訊庫、性能庫和一系列常用高性能計算應用，用戶通過熟悉的阿里云服務界面，不但得到了一個“獨享式”的云端超算中心資源，還同時繼承了阿里云產(chǎn)品的穩(wěn)定，安全的品質(zhì)和與其它阿里云產(chǎn)品打通的能力——這意味著用戶可以將HPC和阿里云大數(shù)據(jù)分析、數(shù)據(jù)可視化和AI產(chǎn)品結(jié)合使用，激發(fā)出更多的創(chuàng)新。

技術(shù)解析

阿里云彈性高性能計算E-HPC與傳統(tǒng)超算中心以及自建集群相比，提供了一種快捷、彈性、安全以及互通的公共云高性能計算服務。

?

• 快捷：快速創(chuàng)建基于阿里云ECS/EGS/SCC/VPC/NAS等資源的計算集群，根據(jù)用戶選擇快速構(gòu)建運行時環(huán)境和豐富的支撐軟件棧；
• 彈性：根據(jù)計算負荷，時間和性能要求增減和釋放計算節(jié)點，存儲等資源，節(jié)約大量的CAPEX費用，包括但不限于硬件系統(tǒng)費用，永久軟件許可證費用，機房維護費用，運維人工費用等。由于使用的是阿里云彈性計算資源，可以是實現(xiàn)即買即用的任意規(guī)模組合和節(jié)點自動縮容擴容的功能；
• 安全：E-HPC是構(gòu)建在阿里云IaaS產(chǎn)品之上的PaaS平臺，所以集成了阿里云產(chǎn)品的組合安全性，如VPC保證的網(wǎng)絡安全，ECS保證的計算安全和NAS保證的高可用高可靠存儲等；
• 互通：由于構(gòu)建在阿里云IaaS資源之上，E-HPC和其它云產(chǎn)品可全面打通，例如通過云盤，共享存儲和VPC網(wǎng)絡安全交換數(shù)據(jù)，并可以和其它數(shù)據(jù)分析，可視化產(chǎn)品互通完成復雜的數(shù)值仿真和數(shù)據(jù)分析閉環(huán)。

?

此外在技術(shù)層面，阿里云彈性高性能計算E-HPC與傳統(tǒng)超算中心、自建物理?HPC集群、自建云服務器集群等相比較，可以分析得出其具有獨特的競爭優(yōu)勢。

?

• E-HPC相比傳統(tǒng)超算中心：E-HPC按需要使用的規(guī)模購買，無需排期，即買即用；E-HPC機型種類多，可根據(jù)應用需求購置最適合的計算資源配比（如EGS實例）；E-HPC充分復用阿里云產(chǎn)品，大大提高了數(shù)據(jù)安全性和高可用性。
• E-HPC相比自建物理HPC集群：E-HPC可節(jié)約巨量CAPEX投入，包括但不限于硬件系統(tǒng)費用/軟件許可證費用（多核，多節(jié)點）、服務器機房建設/電力和制冷費用、平日運作的維護支持費用；使用E-HPC無需顧慮硬件升級換代；E-HPC打通阿里云全系列產(chǎn)品，可擴展性極強。
• E-HPC相比自建云服務器集群：E-HPC提供方便的軟件管理服務，覆蓋HPC應用全部支撐軟件棧功能，并隨HPC共同體（OEM/OSV/ISV/用戶/開發(fā)者/開源社區(qū)）版本升級；E-HPC提供云端Elastic License的按需付費的軟件許可證調(diào)度機制，為用戶節(jié)約一次性購買成本，同時為ISV軟件廠商和個人軟件開發(fā)者提供了阿里云市場的新途徑，E-HPC還能夠提供集群節(jié)點根據(jù)負荷變化的自動伸縮服務。

?

阿里云彈性高性能計算E-HPC架構(gòu)圖

場景應用

E-HPC是一個組合型產(chǎn)品，其計算節(jié)點有普通ECS實例、GPU加速EGS實例、超級計算集群SCC實例可供選擇。ECS實例地域覆蓋面廣，適合在全球各地域部署；EGS實例適合深度學習等支持并行加速應用的客戶使用；SCC實例提供RDMA網(wǎng)絡互聯(lián)，適合大規(guī)模集群，提高加速比。時下，有越來越多的中小企業(yè)和大企業(yè)需要普惠高性能計算來提供HPCaaS服務：

?

• 在季節(jié)性工作負載或?qū)︻~外資源的彈性需求時；
• 在將IT業(yè)務云化，無需投資額外的基礎架構(gòu)或增加等待工作隊列的時間時；
• 在希望通過統(tǒng)一平臺獲取行業(yè)應用軟件許可證資源時；
• 在需要支持多用戶隔離運行多個應用程序且快速獲得資源時。

?

阿里云的彈性高性能計算產(chǎn)品E-HPC構(gòu)筑了HPCaaS的青藏高原。

市場解讀

阿里云E-HPC是建構(gòu)于飛天系統(tǒng)上的原生云超級計算平臺，對底層計算，網(wǎng)絡和存儲的調(diào)用完全基于阿里云的飛天系統(tǒng)，采用OpenAPI接口，隨其它云產(chǎn)品功能和性能一起升級進化。

更為突出的是，E-HPC系統(tǒng)可以和阿里云神龍云服務器/SCC產(chǎn)品無縫對接，基于自研硬件的虛擬化2.0技術(shù)，同時具備物理機的性能和穩(wěn)定性，并提供和ECS，EGS虛擬化異構(gòu)資源的靈活對接，具備完全云特性，這一點是目前國內(nèi)外云廠商都沒有的優(yōu)勢，是真正的“云超算”。。

產(chǎn)品正在集成基于阿里云存儲的Lustre高性能并行文件系統(tǒng)， 接入更多主流高性能計算商業(yè)軟件彈性許可證管理，增強PaaS的云監(jiān)控，性能優(yōu)化和豐富的計費體系，正在對接各個細分領域的SaaS合作伙伴，真正打造普惠和專業(yè)的云上超算平臺。

彈性高性能計算E-HPC基于多年積累的阿里云飛天系統(tǒng)，其功能，性能和體感將隨各飛天產(chǎn)品的升級而普惠超算用戶，基于阿里云飛天架構(gòu)開發(fā)的HPC軟件棧具有和云組間緊耦合，針對云平臺優(yōu)化的特性，和在物理超算平臺上增加“云體驗”的所謂“超算云”相比，真正釋放了云計算的威力，可以說是毫無疑問地國內(nèi)第一“云超算”產(chǎn)品。

轉(zhuǎn)載于:https://my.oschina.net/yunqi/blog/1585762

總結(jié)

以上是生活随笔為你收集整理的阿里云弹性高性能计算E-HPC强势来袭，全新打造一站式云超算的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。