提前準(zhǔn)備

java 版本 1.8.0_101

flink 版本 flink-1.8.2-bin-scala_2.11.tgz

hadoop 版本 hadoop-2.8.5.tar.gz

flink-hadoop lib 版本 flink-shaded-hadoop-2-uber-2.6.5-7.0.jar

配置環(huán)境變量

JAVA_HOME=/usr/jdk1.8.0_101 FLINK_HOME=/home/iie4bu/app/flink-1.8.2 HADOOP_HOME=/home/iie4bu/app/hadoop-2.8.5 PATH=$JAVA_HOME/bin:$FLINK_HOME/bin:$HADOOP_HOME/bin:$PATH export PATH=$PATH

Java安裝

這里就不多說了，有很多資料，安裝后，檢查一下：

flink 1.8.2 安裝

解壓縮 tar -xvf flink-1.8.2-bin-scala_2.11.tgz

修改flink-1.8.2/conf/flink-conf.yaml文件
配置文件中常用的配置
jobmanager.rpc.address參數(shù)用來指向master節(jié)點的地址
jobmanager.heap.size 表示jobmanager節(jié)點可用的內(nèi)存
taskmanager.heap.size表示taskmanager節(jié)點可用的內(nèi)存
taskmanager.numberOfTaskSlots 每一個機器可用的CPU個數(shù)，決定了并行度
paraparallelism.default 表示任務(wù)的并行度 可以在代碼層面覆蓋
taskmanager.tmp.dirs taskmanager的臨時數(shù)據(jù)存儲目錄

• 修改配置文件flink-1.8.2/conf/flink-conf.yaml內(nèi)容如下：jobmanager.rpc.address: swarm-manager (修改為本服務(wù)器的主機名) io.tmp.dirs: /home/iie4bu/app/tmp/flink-tmp

修改配置文件flink-1.8.2/conf/masters
swarm-manager:8081

修改配置文件flink-1.8.2/conf/slaves
swarm-manager

啟動集群./bin/start-cluster.sh

瀏覽器中輸入地址http://swarm-manager:8081

啟動成功！

hadoop 2.8.5 安裝

解壓縮hadoop-2.8.5.tar.gz

修改配置文件etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/jdk1.8.0_101

修改配置文件etc/hadoop/core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://swarm-manager:9000</value></property> </configuration>

修改配置文件etc/hadoop/hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>hadoop.tmp.dir</name><value>/home/iie4bu/app/tmp/hadoop-tmp</value></property> </configuration>

設(shè)置免密登錄

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

測試hdfs

• 格式化文件系統(tǒng)：$ bin/hdfs namenode -format
• 啟動namenode和datanode：sbin/start-dfs.sh
  
  瀏覽器中輸入地址：http://swarm-manager:50070
  
• 測試文件上傳
  
  成功！

Yarn安裝配置

修改配置文件etc/hadoop/mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

修改配置文件：etc/hadoop/yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>10000</value></property><property><name>yarn.scheduler.minimum-allocation-mb</name><value>3000</value></property> </configuration>

容器的最小內(nèi)存和最大內(nèi)存分別為：3000m和10000m
3. 啟動ResourceManager 和NodeManager ：sbin/start-yarn.sh

4. 瀏覽器中輸入http://swarm-manager:8088

啟動成功！

配置Flink on Yarn

首先在https://flink.apache.org/downloads.html#apache-flink-182下載對應(yīng)的包

然后將flink-shaded-hadoop-2-uber-2.6.5-7.0.jar拷貝至flink-1.8.2/lib/

測試運行./bin/yarn-session.sh -n 1 -jm 1024m -tm 1024m

提交Flink作業(yè)

wget -O LICENSE-2.0.txt http://www.apache.org/licenses/LICENSE-2.0.txt

./hdfs dfs -put ~/LICENSE-2.0.txt /提交到hdfs中

./bin/flink run ./examples/batch/WordCount.jar --input hdfs://swarm-manager:9000/LICENSE-2.0.txt --output hdfs://swarm-manager:9000/wordcount-result.txt執(zhí)行這個作業(yè)

瀏覽器中查看

已經(jīng)完成了一個作業(yè)了。

查看結(jié)果 ./bin/hdfs dfs -ls /

./bin/hdfs dfs -text /wordcount-result.txt可以查看文件結(jié)果。

總結(jié)

以上是生活随笔為你收集整理的Flink分布式standalone部署方式(第一种方式)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。