oracle vertica性能对比,测试Vertica性能
軟件:
Vertica?6.0.0-4
OS: Red Hat EnterpriseLinux Server release 6.0(x86-64)
Filesystem: ext4
三臺服務器參數:
cpu :
4P*8CIntel(R) Xeon(R) CPU E7- 8837? @ 2.67GHz
4P*8CIntel(R) Xeon(R) CPU E7- 4820? @ 2.00GHz
4P*8CIntel(R) Xeon(R) CPU E7- 4820? @ 2.00GHz
Memory:
128GB
128GB
128GB
Disk:
IBM ServeRAID M5015? Rev: 2.13?600GB
IBM ServeRAID M5015? Rev: 2.13?600GB
IBM ServeRAID M5015? Rev: 2.13?600GB
網卡:
100Mb/s
100Mb/s
100Mb/s
測試Vertica三節點集群測試,與兩節點集群進行比較如下:
步驟
測試項
Vertica (兩節點集群)
Oracle(單節點)
Vertica (三節點集群百兆)
Vertica (三節點集群千兆)
1
數據加載(31億,兩節點情況下單點加載,三節點情況下是每個節點并行4個進程加載,Oracle是單節點光纖加載)
5小時13分26秒
4小時22分50秒
2小時12分31秒
17分03秒
2
兩表關聯非分布鍵(31億+21萬)
6小時22分35秒
11小時19分44秒
1小時58分30秒
2小時3分6秒
3
兩表關聯分布鍵(31億+3千萬)
2小時56分35秒
6小時13分48秒
2小時31分17秒
4
兩表關聯匯總非分布鍵(31億+174)
649s
2小時16分10秒
729s
386s
5
四表關聯非分布鍵(3千萬+16萬+16萬+5萬)
136s
96s
99s
6
四表關聯非分布鍵(3千萬+4+7+174)
202s
44s
46s
7
單表匯總(6千萬)
109s
113s
8
四表關聯非分布鍵(3千萬+16萬+2百萬+5萬)
184s
522s
357s
總計耗時
53527s
64724s
38989s
18487s
測試主要步驟比對說明:
1、? 數據加載:
3節點的Vertica集群在加載過程中,是多個節點并行加載,并且在每個節點上開啟了4進程并行加載,改造成千兆網絡后,網絡傳輸的瓶頸解決,效率大大提升;兩節點的Vertica集群是單節點加載,并且通過百兆網絡傳輸分布數據,效率不如oracle單機通過光纖連接磁陣直接加載。
2、? 兩表關聯非分布鍵(31億+21萬)
3節點的Vertica集群,將臨時表建立成temporary方式,并且ksafe設置為0,不需要進行節點間數據備份,從而避免了數據的重分布,所以效率提升
3、? 兩表關聯分布鍵(31億+3千萬)
3節點的Vertica集群,在百兆網絡情況下由于目標表被設置為ksafe 1,需要進行數據備份,300G的數據需要通過百兆帶寬進行傳輸重分布,所以導致效率大幅度下降,改造成千兆網絡后,問題解決
Vertica集群(3節點)主要參數設置
Ksafe:1
maxmemorysize :Special: 95%
executionparallelism :? AUTO
Runtimeprioritythreshold : 2
plannedconcurrency????? : 4
結果分析:
文件加載入庫
Vertica文件加載本質都是通過copy實現,可以通過多節點并行加載,以及在每臺節點上開啟多進程提升效率。通過將帶寬從100Mb/s提升為1000Mb/s 后,加載速度提升一個數量級。
數據分布
插入目標表的過程中,需要檢查目標表和源表的分布鍵字段類型,如果存在字段類型不一致或者字段長度不同(主要指CHAR),都會導致數據重分布,極大影響性能。
多表關聯
Vertica多表關聯的關聯字段,如果設置成為orderby字段,則在關聯匹配的過程中使用merge join方式,比默認的hash join方式效率提升很多。
單表匯總
vertica單表匯總是在各自的節點上運算,然后再把結果進行匯總,所以效率比單臺節點的oracle高。
建表優化
vertica 提供DBD工具對建表語句、字段壓縮方式、分布鍵、order字段進行優化,但是經過實際使用,分布鍵的設置和order字段的優化建議往往不準,還需要根據實際的關聯語句以及經驗進行設置。
數據壓縮
vertica數據壓縮是根據列式壓縮,如果表中存在重復值的字段較多,則壓縮比高,比如按地市、微區域等列舉小區名稱的表,壓縮比能夠達到1:5,但是對于用戶流量信息,由于用戶號碼和流量的值很少出現重復,所以壓縮比很低。壓縮比還受到ksafe的影響,ksafe設置為1的情況下,數據會復制一份,容量增加一倍。
總結
以上是生活随笔為你收集整理的oracle vertica性能对比,测试Vertica性能的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Android 查看每个应用的最大可用内
- 下一篇: oracle gather trace,