AirFlow調(diào)度平臺簡介

airflow 是一個編排、調(diào)度和監(jiān)控工作流的平臺，由Airbnb開源，現(xiàn)在在Apache Software Foundation 孵化。airflow將工作流編排為tasks組成的有向無環(huán)圖(DAGs)，調(diào)度器在一組workers上按照指定的依賴關(guān)系執(zhí)行tasks。同時，airflow提供了豐富的命令行工具和簡單易用的用戶界面以便用戶查看和操作，并且airflow提供了監(jiān)控和報警系統(tǒng)

AirFlow基礎(chǔ)概念

Airflow主要是將工作流的相關(guān)信息定義到一個Python文件中，airflow根據(jù)文件中的定義信息執(zhí)行工作流，在Airflow pipeline定義中，主要涉及兩個類： DAG，Operator

DAG : 有向無環(huán)圖，它將定義的任務(wù)按照依賴關(guān)系組織起來

Operator：用來描述每個任務(wù)具體做的事，airflow內(nèi)置了很多operator，如BashOperator 執(zhí)行一個bash 命令，PythonOperator 調(diào)用任意的Python 函數(shù)，EmailOperator 用于發(fā)送郵件，HTTPOperator 用于發(fā)送HTTP請求， SqlOperator 用于執(zhí)行SQL命令…同時，用戶可以自定義Operator，這給用戶提供了極大的便利性。

通過DAG和Operator結(jié)合起來就可以構(gòu)建復(fù)雜的工作流了

Talend簡介

Talend是一個開源的ELT任務(wù)構(gòu)建工具，可以通過簡單拖拽的方式設(shè)計復(fù)雜的ETL任務(wù)并自動生成Java代碼，設(shè)計完成后可以通過構(gòu)建導(dǎo)出ETL任務(wù)java源碼和可直接執(zhí)行jar包及執(zhí)行jar包的shell和bat文件。

接下來，我們通過Talend 桌面軟件構(gòu)建一個簡單的ELT任務(wù)，然后通過airflow UI執(zhí)行這個ETL任務(wù)

Airflow調(diào)度ETL任務(wù)實例

1.通過Talend 設(shè)計、構(gòu)建ETL任務(wù)

打開Talend設(shè)計如下簡單的ETL任務(wù)，將一個CSV文件導(dǎo)入到數(shù)據(jù)庫中：

然后，將這個ETL任務(wù)構(gòu)建并導(dǎo)出，目錄結(jié)構(gòu)如下：

我們使用在linux環(huán)境中執(zhí)行shell文件的方式執(zhí)行ETL任務(wù)。

2.定義Airflow pipeline

我們在airflow 指定的dags目錄下新建python文件來定義airflow pipeline

代碼如下:

import airflow

from datetime import datetime

from airflow.operators.bash_operator import BashOperator

from airflow.models import DAG

from airflow.utils.email import send_email

#shell命令執(zhí)行.sh文件

job_commd = "/home/airflow/jobs/AirFlowTestJob_0.1/AirFlowTestJob/AirFlowTestJob_run.sh '/home/airflow/jobs/AirFlowTestJob_0.1/AirFlowTestJob/'"

#dag中的一些參數(shù)設(shè)置

default_args = {

'owner': 'Airflow',

'depends_on_past': False,

'start_date': datetime(2018, 7, 23),

'email': ['VALID_EMAIL_ID'],

'email_on_failure': True,

'email_on_success': True,

'retries':3,

}

dag = DAG('csv_to_data', default_args=default_args)

#定義ETL任務(wù),多個任務(wù)時定義多個Operator

t1 = BashOperator(

task_id='csv_to_database',

bash_command=job_commd,

dag=dag

)

3.調(diào)度執(zhí)行ETL任務(wù)

完成以上工作，我們啟動airflow webserver服務(wù)器后,便可以在airflow UI界面看到我們定義的ETl任務(wù)csv_to_data，可以進行相應(yīng)操作。

總結(jié)

以上是生活随笔為你收集整理的airflow实现Java定时任务,AirFlow定时调度执行Talend ETL任务的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。