前言

在集群中大規(guī)模的數據的轉換與傳輸是一項艱巨的任務，而Hadoop自帶一套特有的文件I/O系統(tǒng)，使得這項艱巨的任務變得簡單。

以下是我為大家準備的幾個精品專欄，喜歡的小伙伴可自行訂閱，你的支持就是我不斷更新的動力喲！

MATLAB-30天帶你從入門到精通

MATLAB深入理解高級教程（附源碼）

tableau可視化數據分析高級教程

1.壓縮

Hadoop文件數據存取與計算需要集群中眾多的節(jié)點，通過網絡連接方式進行相互協(xié)作完成作業(yè)，節(jié)點間的數據采用壓縮形式進行傳輸，這樣可以減少存儲文件所需的磁盤空間，而且可以加數據在網絡和磁盤上的傳輸。

壓縮類型，在采用壓縮算法傳輸數據前，需要考慮的問題是Hadoop需要能夠辨識壓縮算法計算后的文件，依據業(yè)務需求考慮壓縮算法的空間占比的均衡。

DEFLATE是同時使用了LZ77算法和哈夫曼編碼是一個無損數據壓縮算法。它最初是是由菲爾.卡茨為他的PKZIP軟件

《新程序員》：云原生和全面數字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的Hadoop应用实战100讲（一）-Hadoop进行文件压缩的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。