因為mac系統的idea中圖標位置不太一樣, hadoop安裝位置也不一樣, 所以這里補充我在mac上的配置方式.

前提是電腦中已經安裝有hadoop

首先下載安裝jdk8官網下載JDK8

我的電腦上原本有JDK11, 但是hadoop對于JDK9以上的配置對于我這個新手太不友好了, 加上遠程虛擬機安裝的是hadoop2.7,所以這里就選擇非常保險的JDK8.

安裝好后進入idea, 創建新maven工程

接下來打開Finder, 找到剛剛創建的工程目錄

如果沒有lib文件夾, 就手動創建一個

然后進入hadoop的安裝路徑, 將復制到剛剛創建的lib文件夾中

由于我是使用homebrew安裝,所以路徑默認是隱藏的

打開Finder后按下Shift+Command+G, 輸入/usr/local

我的hadoop路徑是 /usr/local/Cellar/hadoop/3.2.1

然后繼續找下去

將上圖所示拷貝到lib文件夾后, 打開idea

其中, 導入tools文件夾時要做個選擇

選擇Jar Directory

將上面的6個文件夾導入之后, 再額外導入common下的lib文件夾

全部導入后的結果就是這樣了

接下來就是測試是否可以正常連接遠程虛擬機

全部導入過, 左側就會出現目錄結果

在src-main-java文件夾下新建一個Main文件

將如下代碼拷貝進文件import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import java.net.URI;

public class Main {

public static void main(String [] args) throws Exception {

System.out.println("Compile Over");

FileSystem fs = FileSystem.get(new URI("hdfs://換成自己的IP:換成自己的端口"), new Configuration());

FileStatus[] files = fs.listStatus(new Path("/"));

for (FileStatus f : files) {

System.out.println(f);

}

}

}

再次打開ProjectStructer,按照下圖依次進行操作

然后就可以運行剛剛的Main中的代碼啦!

輸出結果就是虛擬機上HDFS的文件夾

至此, 這個過程就算成功了!

總結

以上是生活随笔為你收集整理的hadoop的idea连接配置_idea远程连接hadoop(macOS)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。