#################################################################################

準(zhǔn)備工作:

確保hadoop能正常啟動

確保flink集群啟動正常．

確保zookeeper+hbase能正常啟動

#################################################################################

flink-conf.yaml
jobmanager.rpc.address: Desktop
high-availability: zookeeper
high-availability.storageDir: hdfs://Desktop:9000/flink/ha/(這個是hdfs路徑)
high-availability.zookeeper.quorum: Desktop:2181,Laptop:2182,Laptop:2183(從下面的$ZOOKEEPER/conf/zoo_leader.cfg抄過來)
high-availability.zookeeper.path.root: /flink(這個是hdfs路徑)
high-availability.cluster-id: /flink-cluster

$ZOOKEEPER/conf/zoo_leader.cfg示范如下,其中一部分直接照抄到上面的flink-conf.yaml中

server.1=Desktop:2881:3881
server.2=Laptop:2882:3882
server.3=Laptop:2883:3883

多嘴幾句:

上面的hdfs相關(guān)的路徑,如果沒有自己去hdfs下面新建好，免得報錯．

#################################################################################

masters:

Desktop:8085

Laptop:8085

slaves文件不需要修改,原來是啥樣保持原樣

zookeepers文件不需要修改,原來是啥樣保持原樣(所以我說了前面你要先測試好hbase+zookeeper)

#################################################################################

上述配置文件同步到集群其他各個節(jié)點

啟動hadoop

啟動zookeeper(master和slave需要分別啟動)

啟動flink集群

##################################################################################

這里千萬注意一個問題，zookeeper的所有端口都不能和FLINK的端口沖突，不然就會有好不容易啟動后又自動關(guān)閉的問題．

所以為了FLINK的HA,我的FLINK端口改成8085了

##################################################################################

Flink+standalone+HA模式正常啟動后jps如下(Desktop+Laptop構(gòu)成的真實集群，

其中Laptop兩個zk偽節(jié)點，Desktop一個zk節(jié)點):

Desktop的jps	Laptop的jps
71344 StandaloneSessionClusterEntrypoint 81890 QuorumPeerMain 67397 ResourceManager 67621 NodeManager 75976 Jps 66797 DataNode 66364 NameNode 71775 TaskManagerRunner	3315 QuorumPeerMain 29860 NodeManager 31029 Jps 30889 TaskManagerRunner 3354 QuorumPeerMain 29691 DataNode 30494 StandaloneSessionClusterEntrypoint

會看到有兩個Task Managers.

注意兩點:

①因為flink-conf.yaml中有關(guān)于hdfs的配置，所以hadoop必須啟動

②log中的下列報錯可以忽略

flink-appleyuchi-standalonesession-1-Desktop.log:2020-06-17 14:10:34,694 ERROR org.apache.flink.shaded.curator4.org.apache.curator.ConnectionState [] - Authentication failed
flink-appleyuchi-taskexecutor-1-Desktop.log:2020-06-17 14:10:37,081 ERROR org.apache.flink.shaded.curator4.org.apache.curator.ConnectionState [] - Authentication failed
?

?

總結(jié)

以上是生活随笔為你收集整理的Flink1.12 standalone-HA配置(转载＋自己验证)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。