Java并发-Fork/Join框架
參考博客:https://www.infoq.cn/article/fork-join-introduction
1. 什么是 Fork/Join 框架
Fork/Join 框架是 Java7 提供了的一個用于并行執行任務的框架, 是一個把大任務分割成若干個小任務,最終匯總每個小任務結果后得到大任務結果的框架。
我們再通過 Fork 和 Join 這兩個單詞來理解下 Fork/Join 框架,Fork 就是把一個大任務切分為若干子任務并行的執行,Join 就是合并這些子任務的執行結果,最后得到這個大任務的結果。比如計算 1+2+。。+10000,可以分割成 10 個子任務,每個子任務分別對 1000 個數進行求和,最終匯總這 10 個子任務的結果。Fork/Join 的運行流程圖如下:
2. 工作竊取算法
工作竊取(work-stealing)算法是指某個線程從其他隊列里竊取任務來執行。工作竊取的運行流程圖如下:
那么為什么需要使用工作竊取算法呢?假如我們需要做一個比較大的任務,我們可以把這個任務分割為若干互不依賴的子任務,為了減少線程間的競爭,于是把這些子任務分別放到不同的隊列里,并為每個隊列創建一個單獨的線程來執行隊列里的任務,線程和隊列一一對應,比如 A 線程負責處理 A 隊列里的任務。但是有的線程會先把自己隊列里的任務干完,而其他線程對應的隊列里還有任務等待處理。干完活的線程與其等著,不如去幫其他線程干活,于是它就去其他線程的隊列里竊取一個任務來執行。而在這時它們會訪問同一個隊列,所以為了減少竊取任務線程和被竊取任務線程之間的競爭,通常會使用雙端隊列,被竊取任務線程永遠從雙端隊列的頭部拿任務執行,而竊取任務的線程永遠從雙端隊列的尾部拿任務執行。
工作竊取算法的優點是充分利用線程進行并行計算,并減少了線程間的競爭,其缺點是在某些情況下還是存在競爭,比如雙端隊列里只有一個任務時。并且消耗了更多的系統資源,比如創建多個線程和多個雙端隊列。
3. Fork/Join 框架的介紹
我們已經很清楚 Fork/Join 框架的需求了,那么我們可以思考一下,如果讓我們來設計一個 Fork/Join 框架,該如何設計?這個思考有助于你理解 Fork/Join 框架的設計。
第一步分割任務。首先我們需要有一個 fork 類來把大任務分割成子任務,有可能子任務還是很大,所以還需要不停的分割,直到分割出的子任務足夠小。
第二步執行任務并合并結果。分割的子任務分別放在雙端隊列里,然后幾個啟動線程分別從雙端隊列里獲取任務執行。子任務執行完的結果都統一放在一個隊列里,啟動一個線程從隊列里拿數據,然后合并這些數據。
Fork/Join 使用兩個類來完成以上兩件事情:
- ForkJoinTask:我們要使用 ForkJoin 框架,必須首先創建一個 ForkJoin 任務。它提供在任務中執行 fork() 和 join() 操作的機制,通常情況下我們不需要直接繼承 ForkJoinTask 類,而只需要繼承它的子類,Fork/Join 框架提供了以下兩個子類:ForkJoinPool :ForkJoinTask 需要通過 ForkJoinPool 來執行,任務分割出的子任務會添加到當前工作線程所維護的雙端隊列中,進入隊列的頭部。當一個工作線程的隊列里暫時沒有任務時,它會隨機從其他工作線程的隊列的尾部獲取一個任務。
- RecursiveAction:用于沒有返回結果的任務。
- RecursiveTask :用于有返回結果的任務。
- ForkJoinPool :ForkJoinTask 需要通過 ForkJoinPool 來執行,任務分割出的子任務會添加到當前工作線程所維護的雙端隊列中,進入隊列的頭部。當一個工作線程的隊列里暫時沒有任務時,它會隨機從其他工作線程的隊列的尾部獲取一個任務。
4. 使用 Fork/Join 框架
讓我們通過一個簡單的需求來使用下 Fork/Join 框架,需求是:計算 1+2+3+4+..+100 的結果。
使用 Fork/Join 框架首先要考慮到的是如何分割任務,如果我們希望每個子任務最多執行兩個數的相加,那么我們設置分割的閾值是 2,由于是 4 個數字相加,所以 Fork/Join 框架會把這個任務 fork 成兩個子任務,子任務一負責計算 1+2,子任務二負責計算 3+4,然后再 join 兩個子任務的結果。
?
import lombok.extern.slf4j.Slf4j;import java.util.concurrent.ForkJoinPool; import java.util.concurrent.Future; import java.util.concurrent.RecursiveTask;@Slf4j public class ForkJoinTaskExample extends RecursiveTask<Integer> {public static final int threshold = 2;private int start;private int end;public ForkJoinTaskExample(int start, int end) {this.start = start;this.end = end;}@Overrideprotected Integer compute() {int sum = 0;//如果任務足夠小就計算任務boolean canCompute = (end - start) <= threshold;if (canCompute) {for (int i = start; i <= end; i++) {sum += i;}} else {// 如果任務大于閾值,就分裂成兩個子任務計算int middle = (start + end) / 2;ForkJoinTaskExample leftTask = new ForkJoinTaskExample(start, middle);ForkJoinTaskExample rightTask = new ForkJoinTaskExample(middle + 1, end);// 執行子任務 leftTask.fork();rightTask.fork();// 等待任務執行結束合并其結果int leftResult = leftTask.join();int rightResult = rightTask.join();// 合并子任務sum = leftResult + rightResult;}return sum;}public static void main(String[] args) {ForkJoinPool forkjoinPool = new ForkJoinPool();//生成一個計算任務,計算1+2+3+4ForkJoinTaskExample task = new ForkJoinTaskExample(1, 100);//執行一個任務Future<Integer> result = forkjoinPool.submit(task);try {log.info("result:{}", result.get());} catch (Exception e) {log.error("exception", e);}} }?
?
轉載于:https://www.cnblogs.com/panlei3707/p/11090419.html
總結
以上是生活随笔為你收集整理的Java并发-Fork/Join框架的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在阿里云的ubuntu上部署个人服务
- 下一篇: Perl 教学 Perl5中的引用(指针