應(yīng)用場(chǎng)景：map side join
工作原理：
通過mapreduce框架將一個(gè)文件（本地/HDFS）分發(fā)到每一個(gè)運(yùn)行時(shí)的task(map task /reduce task)節(jié)點(diǎn)上（放到task進(jìn)程所在的工作目錄）
獲取的方式： 在我們自己的mapper或者reducer的代碼內(nèi)，直接使用本地文件JAVA ----API 來訪問這個(gè)文件
示例程序：

• 首先在 job對(duì)象中進(jìn)行指定：

job.addCacheFile(new URI("hdfs://hadoop-server01:9000/cachefile/b.txt")); //分發(fā)一個(gè)文件到task進(jìn)程的工作目錄 job.addCacheFile(new URI("hdfs://hadoop-server01:9000/cachefile/b.txt")); //分發(fā)一個(gè)歸檔文件到task進(jìn)程的工作目錄 //job.addArchiveToClassPath(archive); //分發(fā)jar包到task節(jié)點(diǎn)的classpath下 //job.addFileToClassPath(jarfile);

• 然后在mapper或者reducer中直接使用：

in = new FileReader("b.txt"); reader =new BufferedReader(in); String line = reader.readLine()

總結(jié)

以上是生活随笔為你收集整理的Hadoop大数据——mapreduce的Distributed cache的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。