目錄

Flink安裝部署

Local本地模式

原理

操作

測(cè)試

---

Flink安裝部署

Flink支持多種安裝模式

• - Local—本地單機(jī)模式，學(xué)習(xí)測(cè)試時(shí)使用
• - Standalone—獨(dú)立集群模式，Flink自帶集群，開(kāi)發(fā)測(cè)試環(huán)境使用
• - StandaloneHA—獨(dú)立集群高可用模式，Flink自帶集群，開(kāi)發(fā)測(cè)試環(huán)境使用
• - On Yarn—計(jì)算資源統(tǒng)一由Hadoop YARN管理，生產(chǎn)環(huán)境使用

?

Local本地模式

原理

?

?

1. Flink程序由JobClient進(jìn)行提交
2. JobClient將作業(yè)提交給JobManager
3. JobManager負(fù)責(zé)協(xié)調(diào)資源分配和作業(yè)執(zhí)行。資源分配完成后，任務(wù)將提交給相應(yīng)的TaskManager
4. TaskManager啟動(dòng)一個(gè)線程以開(kāi)始執(zhí)行。TaskManager會(huì)向JobManager報(bào)告狀態(tài)更改,如開(kāi)始執(zhí)行，正在進(jìn)行或已完成。
5. 作業(yè)執(zhí)行完成后，結(jié)果將發(fā)送回客戶端(JobClient)

?

操作

1.下載安裝包

https://archive.apache.org/dist/flink/

2.上傳flink-1.12.0-bin-scala_2.12.tgz到node1的指定目錄

3.解壓

tar -zxvf flink-1.12.0-bin-scala_2.12.tgz?

4.如果出現(xiàn)權(quán)限問(wèn)題，需要修改權(quán)限

chown -R root:root /export/server/flink-1.12.0

5.改名或創(chuàng)建軟鏈接

mv flink-1.12.0 flinkln -s /export/server/flink-1.12.0?/export/server/flink

?

測(cè)試

1.準(zhǔn)備文件/root/words.txt

vim /root/words.txt

hello me you herhello me youhello mehello

?

2.啟動(dòng)Flink本地“集群”

/export/server/flink/bin/start-cluster.sh

?

3.使用jps可以查看到下面兩個(gè)進(jìn)程

• TaskManagerRunner
• StandaloneSessionClusterEntrypoint

?

4.訪問(wèn)Flink的Web UI

http://node1:8081/#/overview

?

?

5.執(zhí)行官方示例

/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar --input /root/words.txt?--output /root/out

?

6.停止Flink

/export/server/flink/bin/stop-cluster.sh

?

啟動(dòng)shell交互式窗口(目前所有Scala 2.12版本的安裝包暫時(shí)都不支持 Scala Shell)

/export/server/flink/bin/start-scala-shell.sh local

?

執(zhí)行如下命令

benv.readTextFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1).print()

?

退出shell

:quit

總結(jié)

以上是生活随笔為你收集整理的2021年大数据Flink（三）：​​​​​​​Flink安装部署 Local本地模式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。