Hadoop Hive概念学习系列之hive的数据压缩（七）
Hive文件存儲(chǔ)格式包括以下幾類(lèi)：
1、TEXTFILE
2、SEQUENCEFILE
3、RCFILE
4、ORCFILE
其中TEXTFILE為默認(rèn)格式，建表時(shí)不指定默認(rèn)為這個(gè)格式，導(dǎo)入數(shù)據(jù)時(shí)會(huì)直接把數(shù)據(jù)文件拷貝到hdfs上不進(jìn)行處理。
SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接從本地文件導(dǎo)入數(shù)據(jù)，數(shù)據(jù)要先導(dǎo)入到textfile格式的表中， 然后再?gòu)谋碇杏胕nsert導(dǎo)入SequenceFile,RCFile,ORCFile表中。
?
更多用法，一定要去看官網(wǎng)啊！！！?
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL
?
?
一、TEXTFILE 格式
默認(rèn)格式，數(shù)據(jù)不做壓縮，磁盤(pán)開(kāi)銷(xiāo)大，數(shù)據(jù)解析開(kāi)銷(xiāo)大。 可結(jié)合Gzip、Bzip2使用(系統(tǒng)自動(dòng)檢查，執(zhí)行查詢(xún)時(shí)自動(dòng)解壓)，但使用這種方式，Hive不會(huì)對(duì)數(shù)據(jù)進(jìn)行切分， 從而無(wú)法對(duì)數(shù)據(jù)進(jìn)行并行操作。
示例：
create table if not exists textfile_table( site string, url string, pv bigint, label string) row format delimited fields terminated by '\t' stored as textfile;?
插入數(shù)據(jù)操作：
?
?
?
二、SEQUENCEFILE 格式
SequenceFile是Hadoop API提供的一種二進(jìn)制文件支持，其具有使用方便、可分割、可壓縮的特點(diǎn)。?
SequenceFile支持三種壓縮選擇：NONE，RECORD，BLOCK。Record壓縮率低，一般建議使用BLOCK壓縮。
示例：
?
插入數(shù)據(jù)操作：
?
?
?
三、RCFILE 文件格式
RCFILE是一種行列存儲(chǔ)相結(jié)合的存儲(chǔ)方式。首先，其將數(shù)據(jù)按行分塊，保證同一個(gè)record在一個(gè)塊上，避免讀一個(gè)記錄需要讀取多個(gè)block。
其次，塊數(shù)據(jù)列式存儲(chǔ)，有利于數(shù)據(jù)壓縮和快速的列存取。
RCFILE文件示例：
?
插入數(shù)據(jù)操作：
?
?
?
四、ORCFILE()
以后補(bǔ)充
?
?
五、再看TEXTFILE、SEQUENCEFILE、RCFILE三種文件的存儲(chǔ)情況：
[hadoop@master ~]$ hadoop dfs -dus /user/Hive/warehouse/*
hdfs://master?:9000/user/Hive/warehouse/hbase_table_1 0
hdfs://master?:9000/user/Hive/warehouse/hbase_table_2 0
hdfs://master?:9000/user/Hive/warehouse/orcfile_table 0
hdfs://master?:9000/user/Hive/warehouse/rcfile_table 102638073
hdfs://master?:9000/user/Hive/warehouse/seqfile_table 112497695
hdfs://master?:9000/user/Hive/warehouse/testfile_table 536799616
hdfs://master?:9000/user/Hive/warehouse/textfile_table 107308067
[hadoop@singlehadoop ~]$ hadoop dfs -ls /user/Hive/warehouse/*/
-rw-r--r-- 2 hadoop supergroup 51328177 2014-03-20 00:42 /user/Hive/warehouse/rcfile_table/000000_0
-rw-r--r-- 2 hadoop supergroup 51309896 2014-03-20 00:43 /user/Hive/warehouse/rcfile_table/000001_0
-rw-r--r-- 2 hadoop supergroup 56263711 2014-03-20 01:20 /user/Hive/warehouse/seqfile_table/000000_0
-rw-r--r-- 2 hadoop supergroup 56233984 2014-03-20 01:21 /user/Hive/warehouse/seqfile_table/000001_0
-rw-r--r-- 2 hadoop supergroup 536799616 2014-03-19 23:15 /user/Hive/warehouse/testfile_table/weibo.txt
-rw-r--r-- 2 hadoop supergroup 53659758 2014-03-19 23:24 /user/Hive/warehouse/textfile_table/000000_0.gz
-rw-r--r-- 2 hadoop supergroup 53648309 2014-03-19 23:26 /user/Hive/warehouse/textfile_table/000001_1.gz
總結(jié)： 相比TEXTFILE和SEQUENCEFILE，RCFILE由于列式存儲(chǔ)方式，數(shù)據(jù)加載時(shí)性能消耗較大，但是具有較好的壓縮比和查詢(xún)響應(yīng)。
數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)是一次寫(xiě)入、多次讀取，因此，整體來(lái)看，RCFILE相比其余兩種格式具有較明顯的優(yōu)勢(shì)。
?
?
?
以下，本文轉(zhuǎn)自于。http://blog.csdn.net/cnbird2008/article/details/9182869
Hive數(shù)據(jù)壓縮
本文介紹Hadoop系統(tǒng)中Hive數(shù)據(jù)壓縮方案的比較結(jié)果及具體壓縮方法。
一、壓縮方案比較
關(guān)于Hadoop HDFS文件的壓縮格式選擇，我們通過(guò)多個(gè)真實(shí)的Track數(shù)據(jù)做測(cè)試，得出結(jié)論如下：
1.??系統(tǒng)的默認(rèn)壓縮編碼方式 DefaultCodec 無(wú)論在壓縮性能上還是壓縮比上，都優(yōu)于GZIP 壓縮編碼。這一點(diǎn)與網(wǎng)上的一些觀(guān)點(diǎn)不大一致，網(wǎng)上不少人認(rèn)為GZIP的壓縮比要高一些，估計(jì)和Cloudera的封裝及我們Track的數(shù)據(jù)類(lèi)型有關(guān)。
2.? Hive文件的RCFile 的在壓縮比，壓縮效率，及查詢(xún)效率上都優(yōu)于SEQENCE FILE (包括RECORD, BLOCK 級(jí)別) 。
3.? 所有壓縮文件均可以正常解壓為T(mén)EXT 文件，但比原始文件略大，可能是行列重組造成的。
?
?
?
關(guān)于壓縮文件對(duì)于其他組件是適用性如下：
1.? Pig 不支持任何形式的壓縮文件。
2.? Impala 目前支持SequenceFile的壓縮格式，但還不支持RCFile的壓縮格式。
?
?
綜上所述：
從壓縮及查詢(xún)的空間和時(shí)間性能上來(lái)說(shuō)，DefaultCodeC + RCFile的壓縮方式均為最優(yōu)，但使用該方式，會(huì)使得Pig 和Impala 無(wú)法使用（Impala的不兼容不確定是否是暫時(shí)的）。
而DefaultCodeC+ SequenceFile 在壓縮比，查詢(xún)性能上略差于RCFile (壓縮比約 6:5), 但可以支持 Impala實(shí)時(shí)查詢(xún)。
?
推薦方案：
?采用RCFile 方式壓縮歷史數(shù)據(jù)。FackBook全部hive表都用RCFile存數(shù)據(jù)。
?
?
?
二、局部壓縮方法
只需要兩步：
1.??????創(chuàng)建表時(shí)指定壓縮方式，默認(rèn)不壓縮，以下為示例：
create external table track_hist(
id bigint, url string, referer string, keyword string, type int, gu_idstring,
…/*此處省略中間部分字段*/ …, string,ext_field10 string)
partitioned by (ds string)?stored as?RCFile?location '/data/share/track_histk' ;
?
2.? 插入數(shù)據(jù)是設(shè)定立即壓縮
SET hive.exec.compress.output=true;
insert overwrite table track_histpartition(ds='2013-01-01')
select id,url, …/*此處省略中間部分字段*/ …, ext_field10 fromtrackinfo
where ds='2013-01-01';
?
?
?
?
?
三、全局方式，修改屬性文件
在hive-site.xml中設(shè)置：
<property>
?<name>hive.default.fileformat</name>
?<value>RCFile</value>
?<description>Default file format for CREATE TABLE statement.Options are TextFile and SequenceFile. Users can explicitly say CREAT
E TABLE ... STORED AS<TEXTFILE|SEQUENCEFILE> to override</description>
</property>
<property>
?<name>hive.exec.compress.output</name>
?<value>true</value>
?<description> This controls whether the final outputs of a query(to a local/hdfs file or a hive table) is compressed. The compres
sion codec and other options are determinedfrom hadoop config variables mapred.output.compress* </description>
?
?
?
?
四、注意事項(xiàng)
1、Map階段輸出不進(jìn)行壓縮
2、對(duì)輸出文本進(jìn)行處理時(shí)不壓縮
?
本文轉(zhuǎn)自大數(shù)據(jù)躺過(guò)的坑博客園博客，原文鏈接：http://www.cnblogs.com/zlslch/p/6103760.html，如需轉(zhuǎn)載請(qǐng)自行聯(lián)系原作者
總結(jié)
以上是生活随笔為你收集整理的Hadoop Hive概念学习系列之hive的数据压缩（七）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： ASP.NET Core 2加入了Raz
- 下一篇： click事件在什么时候出发_超全的js