Oozie 任务调度
工作流數據
Hue的任務是基于工作流的調度,我們創建一個包含 Hive script 腳本的工作流,其中具體腳本內容如下所示:
create database if not exists hive_db; show databases; use hive_db; show tables; create table if not exists hive_test (a int, b string); show tables; insert into hive_test select 1, "test"; select * from hive_test;將上面腳本內容保存到hive_test.sql腳本文件中,并上傳到hdfs目錄/tmp/目錄下;另外Hive工作流還需要一個hive-site.xml?配置文件,此配置文件路徑在:/usr/hdp/2.6.1.0-129/hive/conf/hive-site.xml下,同時將改配置文件上傳到hdfs目錄/tmp/目錄下。
創建工作流
1.在Hue頁面的上方,選擇Workflow,具體如下圖所示。
2.在工作流編輯頁面中拖一個 Hive Script。
3.選擇上傳到hdfs上的hive_test.sql腳本文件和hive-site.xml?配置文件。
4.單擊?Add?后,還需在?FILES?中指定?hive script?文件。
5.單擊右上角保存,然后單擊執行,運行 workflow。
創建定時任務
Hue是支持定時任務調度的,有點類似于crontab執行命令,該定時任務支持的調度粒度可以到分鐘級別。
1.在Hue頁面的上方,選擇Schedule,具體如下圖所示。
2.選擇一個創建好的工作流,然后選擇需要調度的時間、時間間隔、時區、調度任務的開始時間及結束時間,然后單擊保存和執行,具體如下所示。
3.最后在Workflows、Schedulers 的監控頁面可以查看任務調度執行情況。
下一篇:MapReduce簡介
總結
以上是生活随笔為你收集整理的Oozie 任务调度的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CDH6.3.0 HUE 整合 Oozi
- 下一篇: 在Hue中创建一个Oozie工作流