SparkSQL和HiveSql的对比
| SparkSQL | HiveSQL | |
| 計(jì)算引擎 | Spark | MR、Spark、Tez |
| 性能 | 快 | 慢 |
| 分析或事務(wù) | 不支持OLTP, 目的是OLAP(延時(shí)有待降低) | 不支持OLTP,接近 OLAP(延時(shí)可能比較大) |
| 客戶端工具 | SparkSQL Cli | Hive Cli |
| JDBC | Thrift JDBC/ODBC服務(wù)器 | HiveServer2 |
| 管理表/外部表 | 支持 | 支持 |
| 元數(shù)據(jù) | 無(wú)自身的元數(shù)據(jù), 可以與Hive metastore連接 | Hive metastore |
| 數(shù)據(jù)加載 | 支持LOAD DATA語(yǔ)句(也支持load或read API生成DataFrame) | 支持load data語(yǔ)句 |
| 數(shù)據(jù)存儲(chǔ) | 支持Hadoop存儲(chǔ)系統(tǒng) | 支持Hadoop存儲(chǔ)系統(tǒng)。外部表不同的分區(qū)可以位于不同的存儲(chǔ)系統(tǒng),例如有些分區(qū)位于HDFS,另一些分區(qū)位于S3(參考Hive編程指南) |
| 緩存表 | 支持 | 不支持 |
| 視圖 | 支持 | 支持 |
| 索引 | 不支持 | 支持 |
| ACID | 不支持 | 支持(hive 0.14) |
| 復(fù)雜類型 | struct、array、map | struct、array、map |
| Join的優(yōu)化機(jī)制 | BroadcastJoin | Map-side join |
| 分區(qū) | 支持 | 支持 |
| 分桶 | 支持 | 支持 |
| SQL標(biāo)準(zhǔn) | ANSI SQL | ANSI SQL:2003、SQL:2011 和 SQL:2016 |
總結(jié)
以上是生活随笔為你收集整理的SparkSQL和HiveSql的对比的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 3D游戏建模学习有哪些书?自学难不难?能
- 下一篇: 男人养肾按摩运动更可取