pre2-flink单机部署与job提交
【README】
本文記錄了flink單機部署,以及flink job2種提交方式;
【1】flink 單機部署
step1)下載flink 包;
Apache Flink: Stateful Computations over Data Streamshttps://flink.apache.org/
?step2)解壓
tar -zxvf flink-1.14.4-bin-scala_2.12.tgz -C flink-1.14.4step3)查看flink 默認(rèn)配置
vim conf/flink-conf.yaml
查看master節(jié)點配置
step4)啟動單機flink
進入flink home目錄
[root@centos201 flink-1.14.4]# ll total 480 drwxr-xr-x. 2 1000 1001 4096 Feb 25 20:49 bin drwxr-xr-x. 2 1000 1001 263 Apr 9 22:23 conf drwxr-xr-x. 7 1000 1001 76 Feb 25 20:49 examples drwxr-xr-x. 2 1000 1001 4096 Feb 25 20:49 lib -rw-r--r--. 1 1000 1001 11357 Feb 24 05:06 LICENSE drwxr-xr-x. 2 1000 1001 4096 Feb 25 20:49 licenses drwxr-xr-x. 2 1000 1001 243 Apr 9 23:11 log -rw-r--r--. 1 1000 1001 458501 Feb 25 20:49 NOTICE drwxr-xr-x. 3 1000 1001 4096 Feb 25 20:49 opt drwxr-xr-x. 10 1000 1001 210 Feb 25 20:49 plugins -rw-r--r--. 1 1000 1001 1309 Feb 24 05:06 README.txt [root@centos201 flink-1.14.4]# pwd /opt/software/flink-1.14.4/flink-1.14.4執(zhí)行 ? ./bin/start-cluster.sh 啟動集群?
進入flink ui界面
查看主頁: http://192.168.163.201:8081/#/overview , 因為localhost 機器是 192.168.163.201
至此 flink單機模式啟動成功;
【2】提交flink job
把 flink job(帶main函數(shù)的java類)打包為 jar;
或者通過maven package 打包;
關(guān)于flink job的開發(fā)方式,可以參考 1-flink理論-批處理與流處理+簡單示例_PacosonSWJTU的博客-CSDN博客
【2.1】手動在ui界面提交job
step1)把jar 上傳到flink web服務(wù)器
?step2)填寫參數(shù)并提交
?查看控制臺輸出:
?【2.2】命令行提交job
step1)命令提交job
bin/flink run -c com.cmc.wc.SocketTextStreamWordCount -p 1 /opt/software/flink-1.14.4/jobjar/flinkdemo-1.0-SNAPSHOT.jar命令行提交job后,可以在ui界面查看job 列表;
step2)查看job列表 (運行中)
bin/flink liststep3)取消job
bin/flink cancel jobid如 bin/flink cancel 93d772d87a75fd72143cecf2df25f5ef ?
step4)查看所有job列表(包括取消的)
bin/flink list -a
?
總結(jié)
以上是生活随笔為你收集整理的pre2-flink单机部署与job提交的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: iPhone7开不了机怎么办
- 下一篇: es6 dsl与sql对比