Airflow Platform是用于描述，執行和監控工作流的工具。

核心理念

DAG的

在Airflow中，?DAG?（或定向非循環圖）是您要運行的所有任務的集合，以反映其關系和依賴關系的方式進行組織。

例如，一個簡單的DAG可以包含三個任務：A，B和C.可以說A必須在B可以運行之前成功運行，但C可以隨時運行。 它可以說任務A在5分鐘后超時，并且B可以重新啟動最多5次以防它失敗。 它也可能會說工作流程將在每天晚上10點運行，但不應該在某個特定日期之前開始。

通過這種方式，DAG描述了您希望如何執行工作流程; 但請注意，我們還沒有說過我們真正想做的事情！ A，B和C可以是任何東西。 當C發送電子郵件時，也許A準備B進行分析的數據。 或者也許A監控你的位置，這樣B可以打開你的車庫門，而C打開你的房子燈。 重要的是，發展議程集團并不關心其組成任務的作用; 它的工作是確保無論他們做什么在正確的時間，或正確的順序，或正確處理任何意外的問題。

DAG在標準Python文件中定義，這些文件放在Airflow的DAG_FOLDER?。 Airflow將執行每個文件中的代碼以動態構建DAG對象。 您可以擁有任意數量的DAG，每個DAG都描述任意數量的任務。 通常，每個應該對應于單個邏輯工作流。

注意

搜索DAG時，Airflow將僅考慮字符串“airflow”和“DAG”都出現在.py文件內容中的文件。

范圍

Airflow將加載它可以從DAG導入的任何DAG對象。 重要的是，這意味著DAG必須出現在globals()?。 考慮以下兩個DAG。 只會加載dag_1?; 另一個只出現在本地范圍內。

閱讀全文／改進本文

轉載于:https://www.cnblogs.com/wizardforcel/p/10039910.html

總結

以上是生活随笔為你收集整理的Airflow 中文文档：概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。