關于storm的基礎,參照我這篇文章:流式計算storm
關于并發和并行,參照我這篇文章:并發和并行
關于storm的并行度解釋,參照我這篇文章:storm的并行度解釋
關于storm的流分組策略,參照我這篇文章:storm的流分組策略
關于storm的消息可靠機制,參照我這篇文章:storm的消息可靠機制

本文說的是對storm的并行度理解和如何在代碼中實際的設置

1.Worker

Worker是進程級別的,一個worker進程對應執行一個Topology服務,一個運行中的Topology是由集群中的多個Worker進程組成的
反過來說,一個Worker里面不會運行屬于不同的topology的執行任務。

2.Executer

Executer是線程級別,一個Worker進程里有多個Executer線程,默認一個Executor運行一個task,
一個Executor中只能運行隸屬于同一個component（spout/bolt）的task
我們常說的并行度,也就是executer的個數

3.Task

Task是實例級別,一個Task對應一個new Bolt()或者一個new Spout()
一個Executer線程默認執行一個task,也可以設置為執行多個Task
如果一個bolt或spout有設置多個task,executer就會在每次循環里順序調用所有的task實例
每個component（spout/bolt）的并發度就是這個component對應的task數量。
同時，task也是各個節點之間進行grouping（partition）的單位。

默認

默認情況下一個supervisor節點會啟動4個worker進程
每個worker進程會啟動1個executer線程
每個executer會啟動1個task

注意

原生storm的一個executer可以有多個task,但是我們知道一個線程不管有多少的task,他的效率都不會增加,反而會因為線程在多個task之間切換而損失一些性能,所以有人就會有這個疑問,為什么可以一個executer可以對應多個task
其實這個是因為storm可以提供動態調整executer,而task的數量一旦啟動就固定不能變了
所以一開始就想以后可以提高并行度,那么就最好將task的數量多弄一些
比如設置executer為2個,task的數量為4個,那么上線后executer的數量最多可以調至4個,再調大了,由于沒有太多的task與之對應,所以也沒什么用了

配置

看看以下這個拓撲結構的部分代碼,我們說說這三個概念對應代碼中的設置方式:

TopologyBuilder builder = new TopologyBuilder(); //設置這個splitbolt的executer數為2,即這個bolt會有兩個線程 //設置這個splitbolt的task數為4,即這個bolt會有4個實例bolt,即真正的集群中會new出4個來,即內存中中會有4個splitbolt對象 //整體就是這個splitbolt會開兩個線程,跑四個實例,平均一個線程跑兩個實例對象 builder.setBolt(SPLIT_BOLT_ID, splitBolt,2).setNumTasks(4).XXXXXConfig config = new Config(); //設置這個topology的worker數為2個 config.setNumWorkers(2);

在運行過程中,線程數是可以動態調整的,但其他參數不能調整
大的方面,有多種方法可以進行并發度的配配置,其優先級如下:
defaults.yaml < storm.yaml < topology 私有配置 < component level（spout/bolt） 的私有配置

網上其他例子

如上面代碼所示：
進程數=numWorkers=2
線程數=blue_parallelism_hint（2）+green_parallelism_hint（2）+yellow_parallelism_hint（6）=10

10個線程/2個進程 = 5個線程/進程

Blue-Spout 線程數 = 2
Blue-Spout Task數 = Blue-Spout NumTasks = 4

4/2=2 即每個Blue-Spout線程有2個Task。

線程數量即并發度可以動態調整，其它的參數啟動后就不能調整了。

以一張圖更清晰的說明：

總結

以上是生活随笔為你收集整理的storm的并行度的解释--- ( 看完就能理解 )的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。