阿里云E-MapReduce 创建执行计划
執(zhí)行計劃是一組作業(yè)的集合,他們通過調(diào)度上的配置,可以被一次性或者周期性的執(zhí)行。他可以在一個現(xiàn)有的 E-MapReduce 集群上運行,也可以動態(tài)的按需創(chuàng)建出一個臨時集群來運行作業(yè)。它最大的優(yōu)勢就是跑多少就用多少資源,最大化的節(jié)省資源的浪費。
創(chuàng)建執(zhí)行計劃的步驟如下:
1.登錄阿里云 E-MapReduce 控制臺執(zhí)行計劃頁面。
2.選擇地域(Region)。
3.單擊右上角的創(chuàng)建執(zhí)行計劃,進(jìn)入創(chuàng)建執(zhí)行計劃頁面。
4.在選擇集群方式頁面上,有兩個選項,分別是“按需創(chuàng)建”和“已有集群”。
按需創(chuàng)建:創(chuàng)建一個全新的集群,用來運行作業(yè)。
一次性調(diào)度的執(zhí)行計劃,會在開始執(zhí)行的時候創(chuàng)建對應(yīng)配置的集群,并在運行完成以后釋放該集群。具體創(chuàng)建參數(shù)說明參考創(chuàng)建集群。
周期調(diào)度的執(zhí)行計劃,會在每一個調(diào)度周期開始時,按照用戶的設(shè)置創(chuàng)建出一個新的集群運行作業(yè),并在運行結(jié)束后,釋放集群。
已有集群:使用一個已有的集群,并且該集群要符合以下要求。如果選擇“已有集群”,則進(jìn)入選擇集群頁面。用戶可選擇要將該執(zhí)行計劃關(guān)聯(lián)到的集群。
目前只有“運行中”和“空閑”這 2 個狀態(tài)的集群可以被提交執(zhí)行計劃。
5.單擊下一步,進(jìn)入配置作業(yè)頁面。左邊表中會列出用戶所有的作業(yè),可以單擊選中需要執(zhí)行的作業(yè),然后單擊中央的右向按鈕將作業(yè)加入已選作業(yè)隊列。已選作業(yè)隊列中的作業(yè)會被按排列順序提交到集群中執(zhí)行。同一個作業(yè)可以被添加多次,就會多次執(zhí)行。如果您還沒有創(chuàng)建任何作業(yè),請您先參見創(chuàng)建作業(yè)的操作說明創(chuàng)建作業(yè)。
6.單擊下一步,進(jìn)入配置調(diào)度方式頁面。配置項說明如下:
執(zhí)行計劃名稱:長度限制為 1-64 個字符,只允許包含中文、字母、數(shù)字、’-‘、’_’。
調(diào)度策略
手動執(zhí)行:創(chuàng)建完執(zhí)行計劃以后,并不會自動執(zhí)行。需要用戶手動執(zhí)行。一旦已經(jīng)在運行中了,不可以被再次執(zhí)行。
周期調(diào)度:創(chuàng)建完執(zhí)行計劃以后,周期調(diào)度功能會立刻啟動。并在用戶設(shè)置的調(diào)度時間點上開始執(zhí)行。可以在列表頁面關(guān)閉周期調(diào)度。當(dāng)調(diào)度執(zhí)行開始的時候,上一周期的執(zhí)行還未結(jié)束,本次調(diào)度就會被忽略。
調(diào)度周期設(shè)置:可以有天或小時兩種調(diào)度的周期。天默認(rèn)是一天,且無法更改。若選擇小時,則可設(shè)置具體間隔時間,范圍從 1-23。
首次執(zhí)行時間:調(diào)度有效的開始時間。從這個時間開始,按照調(diào)度周期進(jìn)行周期調(diào)度。第一次調(diào)度按照實際的時間滿足要求的最近一個時間點開始調(diào)度。
單擊確認(rèn)提交,完成執(zhí)行計劃的創(chuàng)建。
其他
周期調(diào)度示例
這個設(shè)置表示,從 2015 年 10 月 31 日 10 點 0 分開始第一次調(diào)度,以后每隔一天調(diào)度一次。第二次調(diào)度是 2015 年 11 月 1 日 10 點 0 分。
作業(yè)的執(zhí)行順序
執(zhí)行計劃中的作業(yè),按照用戶選擇的作業(yè)在作業(yè)列表中的順序,從第一個開始一直執(zhí)行到最后一個。
多個執(zhí)行計劃的執(zhí)行順序
每一個執(zhí)行計劃都可以看做是一個整體。當(dāng)多個執(zhí)行計劃被提交到同一個集群上后,每一個執(zhí)行計劃都會按照自身內(nèi)部的作業(yè)順序提交作業(yè),和單個執(zhí)行計劃的順序是一致。而多個執(zhí)行計劃之間的作業(yè)是并行的。
實踐示例 —— 前期作業(yè)調(diào)試
在作業(yè)的調(diào)試階段,如果經(jīng)常用按需自動創(chuàng)建集群的方式會比較慢,每次都需要啟動集群會花費不少的時間。推薦的方式是:先手動創(chuàng)建一個集群,然后在執(zhí)行計劃中,選擇關(guān)聯(lián)該集群來運行作業(yè),并設(shè)置調(diào)度方式為立即執(zhí)行。調(diào)試的時候,每次都通過單擊執(zhí)行計劃列表頁上的“立即運行”來多次運行,查看結(jié)果。一旦作業(yè)調(diào)試完成,修改執(zhí)行計劃。將關(guān)聯(lián)現(xiàn)有集群的方式,修改為按需創(chuàng)建新集群。并將調(diào)度方式修改為周期調(diào)度(視實際情況而定)。后續(xù)就可以按需自動跑任務(wù)了。
總結(jié)
以上是生活随笔為你收集整理的阿里云E-MapReduce 创建执行计划的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 收集Java面试题知识点(Java基础部
- 下一篇: 不要“个人英雄主义”,物联网安全共同体更