目錄

介紹：

一、安裝準備

下載安裝包：

1.1官網：

1.2我的版本：

二、安裝部署

2.1上傳tar包

2.2解壓

2.3配置MySQL

2.4更改MySQL包大小

2.5配置Executor Server

2.6分發

2.7啟動executor

2.8激活executor

2.9配置Web Server

2.10修改azkaban-users.xml文件

2.11啟動web?server

三、驗證安裝

3.1驗證

---

介紹：

Azkaban 是個簡單的批處理調度器，用來構建和運行?Hadoop?作業或其他脫機過程。整體包括三部分webserver、dbserver、executorserver。
? Azkaban是由Linkedin開源的一個Java項目，批量工作流任務調度器。用于在一個工作流內以一個特定的順序運行一組工作和流程。
? Azkaban定義了一種KV文件格式來建立任務之間的依賴關系，并提供一個易于使用的web用戶界面維護和跟蹤你的工作流。

Azkaban的功能特點

1.兼容所有版本的 Hadoop

2.基于 Web 的易用 UI

3.簡單的 Web 和 HTTP 工作流上傳

4.項目工作空間

5.工作流調度

6.模塊化和插件化

7.支持認證和授權

8.可跟蹤用戶行為

9.失敗和成功時的郵件提醒

10.SLA 警告和自動終止

11.失敗作業的重試

一、安裝準備

下載安裝包：

1.1官網：

Downloads

1.2我的版本：

鏈接：https://pan.baidu.com/s/1zZ1tmUwQ_Rbig_hnYd-43w?pwd=kjky? 提取碼：kjky

二、安裝部署

2.1上傳tar包

將azkaban-db-3.84.4.tar.gz,azkaban-exec-server-3.84.4.tar.gz,azkaban-web-server-3.84.4.tar.gz上傳到/tools目錄下。

2.2解壓

新建/training/azkaban目錄，將所有tar包解壓到這個目錄上。

tar -zvxf azkaban-db-3.84.4.tar.gz -C /training/azkaban/ tar -zvxf azkaban-exec-server-3.84.4.tar.gz -C /training/azkaban/ tar -zvxf azkaban-web-server-3.84.4.tar.gz -C /training/azkaban/

2.3配置MySQL

###1登陸MySQL; mysql -uroot -p #輸入密碼###2創建Azkaban數據庫 create database azkaban;###3創建azkaban用戶并賦予權限 #設置密碼有效長度4位及以上 set global validate_password_policy=0;#設置密碼策略最低級別 set global validate_password_length=4;#創建Azkaban用戶，任何主機都可以訪問Azkaban，密碼是000000 CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000';#賦予Azkaban用戶增刪改查權限 GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;###4創建Azkaban表，完成后退出MySQL #創建azkaban用戶并賦予權限 use azkaban; source /training/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql###5完成后退出MySQL quit;

2.4更改MySQL包大小

防止Azkaban連接MySQL阻塞

vim /etc/my.cnf

?重啟MySQL

sudo systemctl restart mysqld

2.5配置Executor Server

Azkaban Executor Server處理工作流和作業的實際執行。

編輯azkaban.properties；

vim azkaban.properties

#添加或者修改以下內容 default.timezone.id=Asia/Shanghaiazkaban.webserver.url=http://hadoop01:8081executor.port=12321database.type=mysqlmysql.port=3306mysql.host=hadoop01mysql.database=azkabanmysql.user=azkabanmysql.password=000000mysql.numconnections=100executor.metric.reports=trueexecutor.metric.milisecinterval.default=60000

2.6分發

同步azkaban-exec到所有節點

xsync?/training/azkaban/azkaban-exec-server-3.84.4/

2.7啟動executor

bin/start-exec.sh

必須進入到azkaban-exec-server-3.84.4路徑，在所有臺機器上都啟動executor

注意：如果在/opt/module/azkaban/azkaban-exec目錄下出現executor.port文件，說明啟動成功

2.8激活executor

curl -G "hadoop01:$(<./executor.port)/executor?action=activate" && echo

如果所有機器都出現如下提示，則表示激活成功！

2.9配置Web Server

Azkaban Web Server處理項目管理，身份驗證，計劃和執行觸發。

編輯azkaban.properties

... default.timezone.id=Asia/Shanghai ... database.type=mysql mysql.port=3306 mysql.host=hadoop102 mysql.database=azkaban mysql.user=azkaban mysql.password=000000 mysql.numconnections=100 ... azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

說明：

#StaticRemainingFlowSize：正在排隊的任務數；

#CpuStatus：CPU占用情況

#MinimumFreeMemory：內存占用情況。測試環境，必須將MinimumFreeMemory刪除掉，否則它會認為集群資源不夠，不執行。

2.10修改azkaban-users.xml文件

添加root用戶

<user password="123456" roles="metrics,admin" username="root"/>

2.11啟動web?server

必須進入到hadoop01的azkaban-web-server-3.84.4路徑

bin/start-web.sh

三、驗證安裝

3.1驗證

訪問:

http://hadoop01:8081

并用root用戶登陸,密碼：123456

安裝完成！！！

作者水平低，如有錯誤，懇請指正！！！

總結

以上是生活随笔為你收集整理的Azkaban的安装部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。