引言

DataWorks提供了三種資源組的能力：獨(dú)享資源組、自定義資源組和默認(rèn)資源組，很多開發(fā)者在使用資源組時經(jīng)常會碰到各類情況，到時候任務(wù)運(yùn)行失敗或者延遲，例如：
1. 正在使用默認(rèn)資源組，任務(wù)經(jīng)常要等待
2.購買錯了資源組類型（獨(dú)享數(shù)據(jù)集成資源組與獨(dú)享調(diào)度資源組），使用不了
3.購買錯了地域（杭州開通DataWorks購買了北京的資源組）
4.沒買錯資源組類型，也沒買錯地域，當(dāng)天還是用不了

通過本篇文章，為您介紹三種資源組的使用場景、使用方式等；下圖描述了整個任務(wù)在運(yùn)行過程中不同類型使用的資源組的流程；

? ? 調(diào)度有三種資源組：默認(rèn)、獨(dú)享、自定義；DataWorks中的數(shù)據(jù)集成也有同樣的三種資源組：默認(rèn)、獨(dú)享、自定義；數(shù)據(jù)集成的同步資源管理復(fù)用調(diào)度系統(tǒng)資源管理系統(tǒng)，在使用DataWorks的時候，如果需要使用數(shù)據(jù)集成任務(wù)，那么需要區(qū)分開調(diào)度和數(shù)據(jù)集成2種資源組的概念；

默認(rèn)資源組

? ? 默認(rèn)資源組是DataWorks在租戶開始使用時候就給每個租戶頒發(fā)的資源組了，租戶內(nèi)所有項(xiàng)目共享，不需要任何配置、操作就可以運(yùn)行任務(wù)；但是該默認(rèn)資源組需要說明節(jié)點(diǎn)：

• 使用場景：

  • 默認(rèn)資源組是在租戶購買了DataWorks時候就會默認(rèn)創(chuàng)建的，可以支持用戶在頁面進(jìn)行數(shù)據(jù)開發(fā)、運(yùn)行測試等能力，目前是免費(fèi)支持的；
  • 任務(wù)量相對較少，或者相對來說對任務(wù)時效性要求不高的場景

• 提供的能力

  • 支持所有的任務(wù)類型，但不支持：

    • 需要公網(wǎng)訪問外部服務(wù)，且需要白名單的不支持；
    • 需要訪問VPC的任務(wù)不支持
    • 需要訪問公網(wǎng)的也不建議使用，建議切換其他資源組使用；
  • 任務(wù)安全沙箱的能力

• 注意事項(xiàng)

  • 默認(rèn)資源組最大調(diào)度資源是有固定分配的默認(rèn)大小的；所有租戶下項(xiàng)目共享，會存在項(xiàng)目之間的資源搶占，不能100%保障任務(wù)按時獲得資源運(yùn)行；
  • 默認(rèn)資源組是在平臺的公共集群下的，所有租戶都共享該集群資源，所以在高峰期會存在租戶之間的資源搶占，不能100%保障任務(wù)按時獲得資源運(yùn)行；

• 費(fèi)用

  • 按量付費(fèi)（實(shí)例費(fèi)用、同步進(jìn)程費(fèi)用等）

獨(dú)享資源組

? ? 目前DataWorks的獨(dú)享資源組提供了2種：獨(dú)享調(diào)度資源組和獨(dú)享數(shù)據(jù)集成資源組，在此處為了更好的理解為什么需要2種資源組的方式，可以將獨(dú)享數(shù)據(jù)集成資源組理解為MaxCompute的計(jì)算資源概念，因?yàn)閿?shù)據(jù)集成隸屬于DataWorks產(chǎn)品內(nèi)，所以在同步資源是跟調(diào)度資源在一起購買的；可以參考引言中的圖；

一、獨(dú)享調(diào)度資源組

（1）信息說明

• 版本要求：無

• 類型：

  • 獨(dú)享調(diào)度資源組
  • 獨(dú)享數(shù)據(jù)集成資源組

• 使用場景

  • 推薦只要生產(chǎn)任務(wù)都使用獨(dú)享資源組

    • 資源可隨時調(diào)配
    • 任務(wù)產(chǎn)出可得到保障
  • 任務(wù)量大、且對任務(wù)時效性要求高的場景必須使用獨(dú)享
  • 需要訪問公網(wǎng)地址、訪問VPC地址，請使用獨(dú)享
  • 訪問目的端服務(wù)，需要配置白名單的場景，請使用獨(dú)享
  • 自己VPC與IDC已經(jīng)打通，任務(wù)需要訪問IDC的，可使用獨(dú)享解決網(wǎng)絡(luò)問題；

• 注意事項(xiàng)

  • 獨(dú)享目前不能支持跨租戶節(jié)點(diǎn)、機(jī)器學(xué)習(xí)任務(wù)；其余支持
  • 購買獨(dú)享資源組的時候，務(wù)必要注意購買與自己VPC在同一個可用區(qū)

  • 切換任務(wù)資源組的時候：

    • 注意每種任務(wù)類型都需要測試驗(yàn)證：網(wǎng)絡(luò)是否已經(jīng)打通

• 費(fèi)用：

  • 調(diào)度：相對默認(rèn)資源組，如果實(shí)例超過500個，獨(dú)享資源會相對便宜很多；不收取實(shí)例費(fèi)用，僅資源費(fèi)用；

（2）如何修改任務(wù)運(yùn)行到獨(dú)享調(diào)度資源組

特別特別注意：
1、在運(yùn)維中心任務(wù)修改資源組周期任務(wù)是需要第二天才會生效，及時生效可以通過測試或者補(bǔ)數(shù)據(jù)運(yùn)行即可；
2、__一定要先單個測試在批量修改,__一定要先單個測試在批量修改,__一定要先單個測試在批量修改
3、如果有網(wǎng)絡(luò)打通的，優(yōu)先將網(wǎng)絡(luò)打通，可以在測試的時候驗(yàn)證出來的；
詳細(xì)操作步驟：

• step1：購買獨(dú)享資源組

  • 說明：一般按照實(shí)際的任務(wù)并發(fā)數(shù)來購買對應(yīng)的資源數(shù)量，可以參考：https://help.aliyun.com/document_detail/125776.html?spm=a2c4g.11186623.6.573.20a87b75cx5tkl?里面的場景三
  • 購買指引：https://help.aliyun.com/document_detail/121526.html?spm=a2c4g.11174283.6.641.4b1c2b65Y7CSE8
  • 登錄管控臺：目前需要有主賬戶權(quán)限或者已經(jīng)授權(quán)過的子賬戶
  • 打開頁面，點(diǎn)擊“新增獨(dú)享資源組”
  • 新增頁面，選擇“獨(dú)享調(diào)度資源組”：
  • 點(diǎn)擊購買鏈接，去購買：此處特別建議：至少購買2臺（做容災(zāi)保障，Failover的能力）
  • 購買完畢后，就可以返回在控制臺剛才的創(chuàng)建頁面，選擇訂單號了：
  • 然后選擇可用區(qū)：特別特別注意：可用區(qū)需要跟您的VPC在一個可用區(qū)：（就是你的任務(wù)是否需要訪問VPC地址，比如訪問ads、adb等，就需要跟次VPC在一個可用區(qū)）如果沒有可用，提工單！

• step2：購買成功后，大概需要等待5分鐘左右，資源組即可創(chuàng)建完畢；【需要點(diǎn)擊刷新按鈕，不會主動刷新】

• step3：將資源組分配到需要的項(xiàng)目中使用,點(diǎn)擊：“修改歸屬空間”，點(diǎn)擊確定接口

• step4：指定完畢項(xiàng)目空間后，就可以切換到運(yùn)維中心去修改任務(wù)資源組了；
• step5：打開運(yùn)維中心，切換到指定項(xiàng)目下，比如此處上述資源組分配到了monitor_prj項(xiàng)目中，到該項(xiàng)目的到周期任務(wù)中，選擇需要修改的，點(diǎn)擊下方有個更多里面有個修改資源組；

特別特別注意：虛節(jié)點(diǎn)、工作流、機(jī)器學(xué)習(xí)等任務(wù)類型不要選擇上，因?yàn)檫@些不支持資源組修改；
??->?

• step6：修改完畢資源組后，可以點(diǎn)擊任務(wù)詳情，查看屬性，就可以看到任務(wù)的資源組信息：

• step7：測試驗(yàn)收：

  • 任務(wù)資源組修改完畢后，可以進(jìn)行測試、補(bǔ)數(shù)據(jù)運(yùn)行，任務(wù)就會運(yùn)行到當(dāng)前的資源組上，可以通過查看日志判斷任務(wù)是否已經(jīng)在獨(dú)享資源組上：

?->?

• 任務(wù)運(yùn)行成功，在看下日志了，是否都OK的，就說明該任務(wù)運(yùn)行到獨(dú)享資源組上沒有什么問題；

• step8：批量修改同一種任務(wù)類型的任務(wù)切換到該資源組上：

  • 過濾節(jié)點(diǎn)類型
  • 全選

以上，就完成了將任務(wù)遷移到獨(dú)享資源組運(yùn)行的操作了；

二、獨(dú)享數(shù)據(jù)集成資源組

（一）信息說明

• 版本要求：無

• 使用場景

  • 推薦只要生產(chǎn)任務(wù)都使用獨(dú)享數(shù)據(jù)集成資源組

    • 資源可隨時調(diào)配
    • 任務(wù)產(chǎn)出可得到保障
  • 任務(wù)量大、且對任務(wù)時效性要求高的場景必須使用獨(dú)享
  • 需要訪問公網(wǎng)地址、訪問VPC地址，請使用獨(dú)享
  • 訪問目的端服務(wù)，需要配置白名單的場景，請使用獨(dú)享
  • 自己VPC與IDC已經(jīng)打通，任務(wù)需要訪問IDC的，可使用獨(dú)享解決網(wǎng)絡(luò)問題；

• 注意事項(xiàng)

  • 如果數(shù)據(jù)源是經(jīng)典網(wǎng)絡(luò)的，不可遷移到獨(dú)享，因?yàn)楠?dú)享是VPC的
  • 購買獨(dú)享資源組的時候，務(wù)必要注意購買與自己VPC在同一個可用區(qū)

（二）如何修改任務(wù)運(yùn)行到獨(dú)享數(shù)據(jù)集成資源組

寫在最前面：
1、一定要先單個測試在批量修改,一定要先單個測試在批量修改,一定要先單個測試在批量修改
2、如果有網(wǎng)絡(luò)打通的，優(yōu)先將網(wǎng)絡(luò)打通，可以在測試的時候驗(yàn)證出來的；
3、獨(dú)享數(shù)據(jù)集成資源組是在數(shù)據(jù)開發(fā)頁面修改提交，發(fā)布后是及時生效的；
詳細(xì)操作步驟：

• step1：購買創(chuàng)建、分配流程：同獨(dú)享調(diào)度資源組是一致的，注意一點(diǎn)就是規(guī)格問題：簡單理解多大內(nèi)存就允許多大并發(fā)

• step2：修改任務(wù)到獨(dú)享數(shù)據(jù)集成資源組，登錄到對應(yīng)項(xiàng)目空間的數(shù)據(jù)開發(fā)頁面，找到你的同步任務(wù)，打開編輯：

  • 通過向?qū)Ｊ脚渲萌蝿?wù)時，在通道控制?>?任務(wù)資源組下拉框中，選擇相應(yīng)的獨(dú)享數(shù)據(jù)集成資源。
  • 通過腳本模式配置任務(wù)時，單擊右上角的配置任務(wù)資源組，在任務(wù)資源組下拉框中，選擇相應(yīng)的獨(dú)享數(shù)據(jù)集成資源。
• step3：任務(wù)資源組修改完畢后，保存，提交；發(fā)布后，一樣的，在運(yùn)維中心進(jìn)行測試或者補(bǔ)數(shù)據(jù)運(yùn)行，就可以驗(yàn)證是否測試通過
• step4：目前數(shù)據(jù)集成資源組的修改無法支持批量修改，只能按照上述方法，逐一任務(wù)修改！

三、專有網(wǎng)絡(luò)綁定

• 使用場景

  • 當(dāng)配置的任務(wù)需要訪問自己VPC內(nèi)的地址的時候，就需要做VPC之間的網(wǎng)絡(luò)打通，比如需要訪問adb的vpc，那就必須要做這一步
  • 如果你的VPC跟你的IDC已經(jīng)專線打通，那也可以通過此功能將獨(dú)享與你的idc打通，可以支持任務(wù)運(yùn)行，不過此操作需要平臺支持

• 前提條件

  • 創(chuàng)建的獨(dú)享資源組與自己VPC在一個可用區(qū)
  • 如果不在一個可用區(qū)：建議重新購買創(chuàng)建；若無法重新創(chuàng)建則只能提工單需求！

• 操作步驟

  • step1：打開控制資源組列表，找到獨(dú)享資源組->專有網(wǎng)絡(luò)綁定

?

• step2：點(diǎn)擊后，需要授權(quán)使用，點(diǎn)擊授權(quán)即可
• step3：選擇需要綁定的資源組，點(diǎn)擊 新增綁定：

• step4：填寫對應(yīng)的自己VPC下的信息：

  • 特別注意：選擇VPC、交換機(jī)、安全組都是你目的端要訪問的云產(chǎn)品實(shí)例所在的
  • 如果沒有交換機(jī)或者安全組，可點(diǎn)擊創(chuàng)建（注意創(chuàng)建的時候都要在該可用區(qū)下）

• step5：如果你的云產(chǎn)品實(shí)例需要配置白名單的話：綁定成功后，回到獨(dú)享資源組列表，點(diǎn)擊 查看信息：

  • 會有eip、網(wǎng)段，需要將此2個IP和ip段作為白名單列表添加到你對應(yīng)的云產(chǎn)品實(shí)例的IP白名單列表中；
  • 同時，需要將自己云產(chǎn)品實(shí)例所在的交換機(jī)網(wǎng)段（內(nèi)網(wǎng)網(wǎng)段）也添加到自己的白名單IP列表中
  • 特別特別注意：如果您的MaxCompute開啟的IP白名單，任務(wù)切換到了獨(dú)享資源組后，發(fā)現(xiàn)白名單問題，請?zhí)峁?#xff0c;由平臺方提供IP列表添加

四、運(yùn)維助手

• 使用場景

  • 解決一些資源包沒有安裝的問題，用戶可以自己操作安裝；比如python的三方包
  • 一些特殊腳本固定使用

• 注意點(diǎn)

  • 固定安裝目錄
• 使用方式：https://help.aliyun.com/document_detail/144824.html?spm=a2c4g.11186623.6.667.43507e023eJc8C

自定義資源組

• 版本要求：

  • 自定義調(diào)度資源組：企業(yè)版及以上，需要提工單白名單開放
  • 自定義數(shù)據(jù)集成資源組：專業(yè)版及以上

• 解決的場景：

  • 網(wǎng)絡(luò)問題：做數(shù)據(jù)同步需要訪問自己IDC的
  • 環(huán)境因數(shù)：比如依賴了python高版本、jdk環(huán)境等等，可以使用一臺環(huán)境滿足的ecs作為自定義資源
  • 搬站：一些客戶本地以及有工作流任務(wù)開發(fā)在運(yùn)行了，期望可以減少搬站遷移的工作量，可以還是將任務(wù)直接調(diào)度到自己的服務(wù)器上，減少代碼腳本的遷移；

• 注意事項(xiàng)

  • 只能支持?jǐn)?shù)據(jù)集成任務(wù)和shell任務(wù)

• 操作使用：

  • 自定義數(shù)據(jù)集成資源組，參考此處：https://help.aliyun.com/document_detail/136934.html?spm=a2c4g.11186623.6.719.8b745b35mv5nrp

  • 自定義調(diào)度資源組：

    • step1：提工單申請，企業(yè)版升級；

- step2：DataWorks控制臺打開，先創(chuàng)建資源組：

- step3：創(chuàng)建資源組后，在點(diǎn)擊 服務(wù)器管理，添加服務(wù)器，特別特別注意，**此步驟最容易出錯：**- **網(wǎng)絡(luò)類型：只能支持專有網(wǎng)絡(luò)；**- **UUID：必須使用UUID方式添加，UUID獲取方法：執(zhí)行`dmidecode | grep UUID`，取返回值**- **IP：機(jī)器的內(nèi)網(wǎng)IP，可以登錄機(jī)器：hostname -i接口或得**

??

- step4: 服務(wù)添加完畢后，回到自定義資源組頁面，刷新按鈕，點(diǎn)擊 服務(wù)器初始化，按照初始化流程，登錄到ECS操作 - step5：服務(wù)器操作完畢后，可以到頁面等待10分鐘，觀察服務(wù)器狀態(tài)正常即可；

• 修改任務(wù)到自定義資源組流程跟獨(dú)享一樣

  • 調(diào)度資源組：運(yùn)維中心修改
  • 數(shù)據(jù)集成：編輯開發(fā)頁面修改，需要提交發(fā)布

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的任务不再等待！玩转DataWorks资源组的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。