Flink开发环境搭建(maven)
1、下載scala sdk
http://www.scala-lang.org/download/?直接到這里下載sdk,(https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.msi)
?
2、下載scala for intellij idea的插件
File->setting->plugins里搜索Scala,然后安裝即可
?
3、https://maven.apache.org/download.cgi
http://mirrors.shu.edu.cn/apache/maven/maven-3/3.6.0/binaries/apache-maven-3.6.0-bin.zip
?
4、生成工程
mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-scala
或者
mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeCatalog=https://repository.apache.org/content/repositories/snapshots/ -DarchetypeVersion=1.7-SNAPSHOT
?
5、scala統計詞頻示例
package com.test.simport org.apache.flink.api.scala._object WordCount {def main(args: Array[String]) {val env = ExecutionEnvironment.getExecutionEnvironment// get input dataval text = env.readTextFile("D:\\git\\test\\pom.xml")val counts = text.flatMap { _.toLowerCase.split("\\W+") filter { _.nonEmpty } }.map { (_, 1) }.groupBy(0).sum(1)// counts.writeAsCsv("D:\\git\\test\\output.txt", "\n", " ") counts.print()env.execute("Socket Window WordCount")} }?
- 直接按照樣例執行,可能出現以下錯誤:
- 參照此文,原因是print()方法自動會調用execute()方法,造成錯誤,所以注釋掉env.execute()即可
轉載于:https://www.cnblogs.com/linn/p/10454921.html
總結
以上是生活随笔為你收集整理的Flink开发环境搭建(maven)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 蛋壳公寓再获5亿美元C轮融资,老虎环球基
- 下一篇: 可视化Linux性能监控