MapReduce编程实战之“调试”
生活随笔
收集整理的這篇文章主要介紹了
MapReduce编程实战之“调试”
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
本篇內容
在上一篇的“初識”環節,我們已經在本地和Hadoop集群中,成功的運行了幾個MapReduce程序,對MapReduce編程,已經有了最初的理解。
在本篇文章中,我們對MapReduce編程進行進一步的了解,包括:配置API、輔助類、調試手段、調優手段。
總體來說,我個人的理解是:
(1)本地開發階段,對于Eclipse開發MapReduce程序來說,是不需要任何插件的,和開發普通的Java程序是一樣的,通過DEBUG和單元測試排錯;
(2)Hadoop環境測試階段,也比較困難或者說比較麻煩進行遠程調試,經常做的是打印語句,看日志。
配置API和輔助類
配置API
一個Configuration類的實例,代表配置屬性及其取值的一個集合。maven項目的src/main/resources下有配置文件conf.xml,內容如下:
[html]總結
以上是生活随笔為你收集整理的MapReduce编程实战之“调试”的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: HDFS--Hadoop分布式文件系统
- 下一篇: MapReduce编程实战之“工作原理”