并行計算（Parallel Computing）是指同時使用多個計算資源解決計算問題。并行 計算的主要目的是快速解決大型復(fù)雜的計算問題，或者節(jié)約成本——使用多臺“廉價” 計算機(jī)取代昂貴的大型機(jī)，以下測試啟動兩個節(jié)點(diǎn)（win10），每個節(jié)點(diǎn)使用8個內(nèi)核參與計算。管理節(jié)點(diǎn)即頭節(jié)點(diǎn)系統(tǒng)為windows server 2019，COMSOL Multiphysics 安裝版本為5.4

1 部署Windows并行環(huán)境

1.1準(zhǔn)備工作

首先，集群中的每臺機(jī)器應(yīng)該能夠相互通過網(wǎng)絡(luò)相互訪問，而在 Windows 中，缺省打開的防火墻將限制彼此之間的訪問。建議如下圖所示分別新建連接安全規(guī)則、入站規(guī)則、出站規(guī)則（名字任意，本例為comsol，免除身份驗證ip段為192.168.0.1~192.168.0.255）

在所有的節(jié)點(diǎn)上執(zhí)行以上操作，使得各節(jié)點(diǎn)之間可以相互連接。

?

1.2配置server 2019

首先需要為管理節(jié)點(diǎn)指定一個 IP 地址，本例：192.168.0.109

開始設(shè)定Active Directory，打開服務(wù)器管理器，點(diǎn)擊添加角色，在添加角色向?qū)υ捒螯c(diǎn)擊下一步，在服務(wù)器角色列表中選擇Active Directory域服務(wù)：

?

點(diǎn)擊下一步，閱讀一下簡介，然后點(diǎn)擊下一步，點(diǎn)擊安裝。

安裝完成如圖點(diǎn)擊部署后配置：

?

打開Active Directory域服務(wù)配置向?qū)?#xff0c;選擇添加新林，根域名：cluster.ultralab.com（可自定義）：

?

點(diǎn)擊下一步，林功能級別和域功能級別選擇 Windows Server 2016，自動勾選域名系統(tǒng)（DNS）服務(wù)器和全局編錄，自定義密碼：

?

點(diǎn)擊下一步，其他選項--NetBIOS域名：CLUSTER（自定義）

?

下一步，一般會提示無法創(chuàng)建該DNS服務(wù)器的委派，無需理會，安裝完成后會提示即將注銷重啟計算機(jī)：

?

重啟后即可使用Active Directory角色的服務(wù)，接著添加域用戶。點(diǎn)擊服務(wù)管理器--工具--Active Directory用戶和計算機(jī)：

cluster.ultralab.com--Users右鍵，新建--用戶：

?

如下圖（用戶名可自定義）：

?

點(diǎn)擊下一步，設(shè)置密碼，如圖設(shè)置：

?

下一步完成添加用戶。為方便操作，可以給此用戶賦予域管理員的權(quán)限。雙擊新建的用戶（comsol）:

?

點(diǎn)擊隸屬于標(biāo)簽，點(diǎn)擊添加:

?

在選擇組對話框中，點(diǎn)擊高級按鈕，在展開的對話框中，點(diǎn)擊立即查找，在搜索

結(jié)果中找到Domain Admins

?

點(diǎn)擊確定，繼續(xù)點(diǎn)擊確定，如下圖列表所示，再點(diǎn)擊確定關(guān)閉窗口

?

還需要把這個新增的用戶添加到當(dāng)前計算機(jī)中，點(diǎn)擊控制面板--管理用戶和賬戶

添加用戶對話框中輸入用戶名：comsol，域：cluster.ultralab.com

?

下一步，如下圖選管理員，下一步

?

如下圖點(diǎn)擊確定，將comsol添加到當(dāng)前計算機(jī)的管理員帳號：

?

以上步驟完成了在server 2019上的Active Directory、用戶帳號等設(shè)定。

?

1.3安裝Microsoft HPC Pack 2016

安裝向?qū)е?#xff0c;選擇：新建安裝

?

選擇通過創(chuàng)建頭節(jié)點(diǎn)來新建一個HPC集群

?

安裝規(guī)則測試完成無誤后點(diǎn)擊下一步開始向計算機(jī)中安裝所需的數(shù)據(jù)庫、服務(wù)等各種程序

?

1.4部署頭節(jié)點(diǎn)（管理節(jié)點(diǎn)）

安裝完成，打開集群管理器，首先點(diǎn)擊配置網(wǎng)絡(luò)，在網(wǎng)絡(luò)配置向?qū)υ捒蛑羞x擇

5.僅在企業(yè)網(wǎng)絡(luò)上的所有節(jié)點(diǎn)：

依次點(diǎn)擊下一步，最后點(diǎn)擊配置。等候管理器完成網(wǎng)絡(luò)的配置工作，然后點(diǎn)擊完

成。

然后在集群管理器對話框中點(diǎn)擊提供安裝帳號，用戶名：cluster.ultralab.com\comsol，設(shè)置密碼：

?

接著在集群管理器中點(diǎn)擊配置新節(jié)點(diǎn)的命名規(guī)則：

?

最后在集群管理器里面點(diǎn)擊節(jié)點(diǎn)模板--新建

?

在新建節(jié)點(diǎn)模板向?qū)е羞x擇工作站節(jié)點(diǎn)和非托管服務(wù)器節(jié)點(diǎn)模板

依次點(diǎn)擊下一步，最后點(diǎn)擊創(chuàng)建。

至此完成 HPC 的安裝和頭節(jié)點(diǎn)的設(shè)定。

?

1.5部署計算節(jié)點(diǎn)

首先，頭節(jié)點(diǎn)的IP地址作為計算節(jié)點(diǎn)的DNS。

然后修改計算機(jī)名：node01，隸屬于-域為：cluster.ultralab.com

點(diǎn)擊確定，輸入域中的用戶名 comsol 及相應(yīng)的密碼

點(diǎn)擊確定，稍等片刻，可以看到歡迎對話框，點(diǎn)擊確定，再點(diǎn)擊確定，點(diǎn)擊關(guān)閉，點(diǎn)擊立即重啟計算機(jī)。

重啟后就要更換登錄方式了，現(xiàn)在應(yīng)該使用域用戶的方式來登錄。按照提示按下

鍵盤中的 Ctrl+Alt+Del，然后點(diǎn)擊切換用戶，在用戶名中輸入 comsol，輸入正確的密

碼，然后登錄。

?

運(yùn)行HPC pack安裝目錄 setup.exe。選擇通過創(chuàng)建新的工作站節(jié)點(diǎn)或非托管服務(wù)器節(jié)點(diǎn)加入現(xiàn)有 HPC 群集

?

下一步，在下拉列表中選擇頭節(jié)點(diǎn)的名稱，下一步，繼續(xù)下一步，選擇一個更新方法，點(diǎn)擊下一步，然后點(diǎn)擊安裝。這個時候會將相關(guān)的數(shù)據(jù)庫等程序安裝在計算節(jié)點(diǎn)上。

安裝完畢后回到頭節(jié)點(diǎn)，在集群管理器中，點(diǎn)擊添加節(jié)點(diǎn)，選擇添加已經(jīng)配置的工作站節(jié)點(diǎn)和非托管服務(wù)器節(jié)點(diǎn)。

?

點(diǎn)擊下一步，再點(diǎn)擊下一步，在選擇新節(jié)點(diǎn)對話框中選擇所要加入集群的節(jié)點(diǎn)，例如，NODE01

?

點(diǎn)擊添加，點(diǎn)擊完成。這時我們可以看到管理器開始執(zhí)行正在添加節(jié)點(diǎn)的工作，它會向計算節(jié)點(diǎn)中添加一些必要的密鑰、管理程序等，完成了集群的節(jié)點(diǎn)添加工作，我們就可以在這個集群上進(jìn)行并行計算了。

?

2 COMSOL Multiphysics并行計算設(shè)置

啟動COMSOL Multiphysics

調(diào)度程序選擇HPCS 2008/2012/2016，其他根據(jù)需要自定義設(shè)置。

?

經(jīng)測試：

測試1： 算例（瞬態(tài)，約58萬自由度）測試，在多核（4核、6核、8核、16核、28核）測試結(jié)果看到，Comsol Multiphysics多物理場耦合，8核并行計算加速比最高，也是性價比最高，CPU核數(shù)再提升，性能提升幅度很低

測試2：算力（穩(wěn)態(tài)，600萬自由度）測試，8核還是最佳，單機(jī)計算時間過長，承受太重，建議用集群方式求解

以下是Comsol Multiphysics單機(jī)以及集群硬件配置方案

（1）基于單機(jī)架構(gòu)多物理場耦合仿真計算硬件配置推薦
求解規(guī)模：小于300萬自由度

NO	型號	主要配置	報價	備注
1	UltraLAB H380 14864-SAA	Intel?第9代高頻處理器（8核@4.8Ghz）/64GB?DDR4 3000/Quadro P620 2GB?/960GB SSD+4TB SATA企業(yè)級/塔式(750W)/23寸圖顯	28000	高性價比
2	UltraLAB H380??150128-SAA	Intel?第10代高頻處理器（10核@5.0Ghz）/128GB?DDR4 3000/Quadro P620 2GB/960GB SSD+6TB SATA企業(yè)級/塔式(750W)/23寸圖顯	39000	小規(guī)模高速計算型
3	UltraLAB AX410 142384-SAB	Intel?第10代至尊處理器（18核@4.2Ghz）/192GB?DDR4 3000/Quadro P1000?/1.9TB SSD +10TB SATA企業(yè)級/塔式(750W)/23寸圖顯	54500	小規(guī)模計算多任務(wù)型
4	UltraLAB EX630i??234192-SBA	2顆Xeon 金6226R處理器（32核@3.4Ghz）/192GB?DDR4 2933/Quadro P620?/1.9TB SSD +6TB SATA企業(yè)級/塔式(750W)/23寸圖顯	58000	中等規(guī)模
5	UltraLAB EX630i??237192-SBA	2顆Xeon 金6242R處理器（40核@3.7Ghz）/192GB?DDR4 2933/Quadro P620?/1.9TB SSD +6TB SATA企業(yè)級/塔式(750W)/23寸圖顯	79000	中等規(guī)模
6	UltraLAB EX630i??240320-SBA	2顆Xeon 金6246R處理器（32核@4.0Ghz）/320GB?DDR4 2933/Quadro P620?/1.9TB SSD +8TB SATA企業(yè)級/塔式(750W)/23寸圖顯	97000	中大規(guī)格
7	UltraLAB Alpha730??443384-SCC	4顆Xeon 金6244處理器（共計32核@4.3Ghz）?/384GB?DDR4 2933/Quadro M4000/3.84TB SSD +10TB SATA企業(yè)級/雙塔式(1600W冗余，靜音級)/27寸-4K圖顯	179000	大規(guī)模高速計算型 高頻+多核+高IO
8	UltraLAB Alpha730 441768-SCB	4顆Xeon 金6246處理器（48核@4.1Ghz）/768GB?DDR4 2933?/Quadro P2000/3.84TB SSD +12TB SATA企業(yè)級/雙塔式(1600W冗余,靜音級)/27寸-4K圖顯	226000	大規(guī)模計算高速計算完美 高頻+多核+高IO
9	UltraLAB Alpha730 443768-PCC	4顆Xeon 金6256處理器（48核@4.3Ghz）/768GB?DDR4 2933?/RTX4000/4TB PcieSSD +20TB SATA企業(yè)級/雙塔式(1600W冗余,靜音級)/27寸-4K圖顯	275000	超大規(guī)模計算極致完美型 高頻+多核+高IO
10	UltraLAB Alpha730 4391T-PDC	4顆Xeon 金6254處理器（72核@3.9Ghz）/1.5TB?DDR4 2933?/RTX4000/1.9TB SSD/6TB PcieSSD /30TB SATA企業(yè)級/雙塔式(1600W冗余,靜音級)/27寸-4K圖顯	295000	多任務(wù)多用戶團(tuán)隊超算型

（2）基于集群架構(gòu)多物理場耦合仿真計算硬件配置推薦
推薦方案1?
集群型號：UltraLAB CT400 50C46-960
集群規(guī)模：5個計算節(jié)點(diǎn)（50核*4.6GHz ，960GB DDR4）
求解規(guī)模：150萬~500萬自由度
配置明細(xì)：

NO	貨物名稱	型號	數(shù)量	單價	小計
（一）硬件設(shè)備
1.1	? 計算服務(wù)器	10核@4.6Ghz+水冷散熱/192GB DDR4 /QK420/960GB SSD企業(yè)級/4U機(jī)架式(750W)/56Gbps IB網(wǎng)卡/無顯示器	5套	37000	185000
1.2	主控服務(wù)器	2顆Xeon 銀4214（24核@2.6GHz）/192GB /Quadro P1000/960GB+6.4TB高速緩存盤/42TB并行存儲/4U機(jī)架式（1500w）/雙56GB IB網(wǎng)卡/23寸圖顯	1套	93500	93500
1.4	計算交換機(jī)	邁絡(luò)思IB交換機(jī)12口@56Gbps	1臺	35000	35000
1.5	管理交換機(jī)	24口千兆電口	1臺	1100	1100
1.6	KVM切換器	8口，HDMI接口	1臺	2350	2350
1.7	機(jī)柜	42U，服務(wù)器級，插排，托盤	1臺	5500	5500
?	?	?	?	?	?
（二）集群系統(tǒng)
2.1	操作系統(tǒng)	?	?	?	?
2.2	作業(yè)調(diào)度軟件	UltraLAB PSS作業(yè)調(diào)度軟件（5節(jié)點(diǎn)）	1套	50000	50000?
2.3	求解器	?	?	?	?
?	?	?	?	?	?
合計：￥372,450元

推薦方案2?
集群型號：UltraLAB CT400 100C47-2T
集群規(guī)模：10個計算節(jié)點(diǎn)（100核*4.6GHz ，1.92TB DDR4）
求解規(guī)模：600萬~1000萬自由度
配置明細(xì)：

NO	貨物名稱	型號	數(shù)量	單價	小計
（一）硬件設(shè)備
1.1	計算節(jié)點(diǎn)	10核@4.6Ghz+水冷散熱/192GB DDR4 /QK420/960GB SSD企業(yè)級/4U機(jī)架式(750W)/56Gbps IB網(wǎng)卡/無顯示器	10套	37000	370000
1.2	存儲節(jié)點(diǎn)	2顆Xeon 銀4214（24核@2.6GHz）/192GB /Quadro P1000/960GB+6.4TB高速緩存盤/42TB并行存儲/4U機(jī)架式（1500w）/雙56GB IB網(wǎng)卡/23寸圖顯	1套	93500	93500
1.4	計算交換機(jī)	邁絡(luò)思IB交換機(jī)12口@56Gbps	1臺	35000	35000
1.5	管理交換機(jī)	24口千兆電口	1臺	1100	1100
1.6	KVM切換器	16口，HDMI接口	1臺	4800	4800
1.7	機(jī)柜	42U，服務(wù)器級，插排，托盤	2臺	5500	11000
?	?	?	?	?	?
（二）集群系統(tǒng)
2.1	操作系統(tǒng)	?	?	?	?
2.2	作業(yè)調(diào)度軟件	UltraLAB PSS作業(yè)調(diào)度軟件（10節(jié)點(diǎn)） ?	1套	100000	100000?
2.3	求解器	?	?	?	?
?	?	?	?	?	?
合計：￥615,400元

常見問題
1）為什么Comsol Multiphysics運(yùn)行CPU使用率只能到4%
答：很多求解是單線程的，或求解過程的某個階段，是單線程的，這是正常的

2）Comsol Multiphysics怎樣選擇CPU
答：不同求解器有不同的多核并行計算特點(diǎn)，具體情況具體分析，參考測試數(shù)據(jù)

3）Comsol Multiphysics運(yùn)行為什么會內(nèi)存不夠
答：網(wǎng)格劃分過細(xì)過大，造成數(shù)據(jù)計算規(guī)模大，超出內(nèi)存容量，通過優(yōu)化或簡化模型可以降低計算量，少占用內(nèi)存

4）Comsol Multiphysics求解速度為什么這么慢
答：可能原因CPU核數(shù)、頻率不合理，也可能是內(nèi)存容量不夠，如果是集群，網(wǎng)絡(luò)延遲大，另外跟網(wǎng)格劃分過細(xì)有關(guān)系，計算量太大，算不動，具體情況具體分析

5）為什么在超級計算機(jī)系統(tǒng)上運(yùn)行求解計算，還不如單機(jī)快
答：多核并行有限度，超級計算機(jī)cpu核數(shù)多，但頻率普遍太低（通常不超過3GHz），某些計算需要有限多核和高頻（越高越好），才是最理想的計算架構(gòu)，另外也可能軟件授權(quán)的核數(shù)有限制
?

歡迎測試驗證

總結(jié)

以上是生活随笔為你收集整理的Microsoft HPC Pack 2016部署Comsol Multiphysics多物理场耦合并行计算以及超大规模仿真计算集群硬件配置推荐的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。