導語

“大數(shù)據(jù)” 三個字其實是個marketing語言，從技術角度看，包含范圍很廣，計算、存儲、網(wǎng)絡都涉及，知識點廣、學習難度高。

? ??

本期會給大家奉獻上精彩的：hiva、Flink、分布式數(shù)據(jù)庫、MongoDB、spark、Druid、ES、ELK。全是干貨，希望大家喜歡！！！

1Hive

影響Hive效率的幾乎從不是數(shù)據(jù)量過大，而是數(shù)據(jù)傾斜、數(shù)據(jù)冗余、job或I/O過多、MapReduce分配不合理等等。對Hive的調優(yōu)既包含對HiveQL語句本身的優(yōu)化，也包含Hive配置項和MR方面的調整。

https://mp.weixin.qq.com/s/3DtLiOkkfTGg2EZ625ol2g

2Flink

本文分享了趣頭條基于Flink+ClickHouse的實時數(shù)據(jù)分析平臺，包括業(yè)務場景與現(xiàn)狀分析、Flink to Hive 的小時級場景、Flink to ClickHouse 的秒級場景、未來規(guī)劃。。

https://mp.weixin.qq.com/s/K6v45N3RDXuG3HVFvYv_jw

3分布式數(shù)據(jù)庫

并不是每個系統(tǒng)都會用分布式數(shù)據(jù)庫，分布式數(shù)據(jù)庫適配的是那些大并發(fā)、高頻次的業(yè)務系統(tǒng)，集中式數(shù)據(jù)庫仍然有它的生存空間，而且從數(shù)量來說，它沒準還是占相對大的一個比例，它適配的是傳統(tǒng)業(yè)務系統(tǒng)，我們通過 RDS 的服務化部署能夠提供數(shù)據(jù)庫服務，國外商業(yè)產(chǎn)品、國內(nèi)數(shù)據(jù)庫、開源產(chǎn)品結合使用，最后達到一個比較均衡的比例。

https://mp.weixin.qq.com/s/ki5Bh8Pdnk3wKGkpr8jY3g

4MongoDB

本文講述了MongoDB的WiredTiger存儲引擎的Checkpoint具體結構信息、執(zhí)行流程；并介紹使用WiredTiger的wt命令工具查看checkpoint信息及信息解讀。

https://mp.weixin.qq.com/s/JT71BBWu3sPb7AvbqGwMGg

5ES

在使用ES時，我們常見的就是需要生成一個template來定義索引的設置，分詞器，Mapping.本文將基于項目經(jīng)驗來總結一些常用的配置。

https://mp.weixin.qq.com/s/OfxiEY8L_QGclTfBisGPuA

6Linux

Linux 之父非常擔憂未來沒有開發(fā)者繼續(xù)維護Linux內(nèi)核，并于近日表示：“真的很難找到維護者！”

https://mp.weixin.qq.com/s/3Tm0pRGbWm1f68HypXBJUA

7ELK

隨著 IT 業(yè)務系統(tǒng)的迅速發(fā)展，中國民生銀行需要考慮實現(xiàn)一套完整并適用于民生銀行的日志文件智能分析與處理的解決方案。本文詳細介紹了中國民生銀行大數(shù)據(jù)基礎平臺運維組團隊通過改造 Apollo 和 ES 的源碼，構建了自己的天眼實時智能日志管理分析平臺。

https://mp.weixin.qq.com/s/ItMDj-qcmcW9puAsDwm-lQ

8Netty

一般的服務之間進行交互時都會使用自定義協(xié)議，常見的框架，諸如dubbo，kafka，zookeeper都實現(xiàn)了符合其自身業(yè)務需求的協(xié)議，本文主要講解如何使用Netty實現(xiàn)一款自定義的協(xié)議。

https://mp.weixin.qq.com/s/Q8sA5V46I9tfhlHBZHZQiA

9Druid

Apache Druid是一款優(yōu)秀的OLAP引擎，眾所周知數(shù)據(jù)存儲格式對一款存儲系統(tǒng)來說是最核心的組件，Druid的數(shù)據(jù)格式是自定義的，以此保證了在海量數(shù)據(jù)下的亞秒級查詢。本文深入分析Druid V1版本數(shù)據(jù)存儲格式，包括索引結構和數(shù)據(jù)在磁盤中的存儲方式。在閱讀本文之前希望您對Druid和數(shù)據(jù)存儲有簡單了解。

https://mp.weixin.qq.com/s/XxSTsHluORTDwtiopAxQ0w

10Spark

Spark SQL 中 Broadcast Join 一定比 Shuffle Join 快？那你就錯了。

https://mp.weixin.qq.com/s/5OBHLjRjOykuuaCqEthD4g

11開心一刻

Delphi象吉普車，什么路上都能開，卻在啥路上也開不好；PB就象卡丁車，只能在固定線路上開，到室外就有些不穩(wěn)；VC象跑車，你開得起卻買不起，而且一旦發(fā)生故障，想修都找不到毛病在哪；Java象敞棚車，不管刮風下雨還是艷陽高照，都能照開不誤；VB就是摩托車，騎的時間越長，你越痛恨它！

致謝：

周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛

猜你喜歡

#大數(shù)據(jù)和云計算機技術社區(qū)#博客精選（2017）

NoSQL 還是 SQL ？這一篇講清楚

阿里的OceanBase解密

#大數(shù)據(jù)和云計算技術#: "四有"社區(qū)介紹

大數(shù)據(jù)和云計算技術周報（第56期）

新數(shù)倉系列：Hbase周邊生態(tài)梳理（1）

《大數(shù)據(jù)架構詳解》第2次修訂說明

簡單梳理跨數(shù)據(jù)中心數(shù)據(jù)庫

云觀察系列：漫談運營商公有云發(fā)展史

云觀察系列：百度云的一波三折

云觀察系列：阿里云戰(zhàn)略觀察

超融合方案分析系列（7）思科超融合方案分析

加入技術討論群

《大數(shù)據(jù)和云計算技術》社區(qū)群人數(shù)已經(jīng)6000+，歡迎大家加下面助手微信，拉大家進群，自由交流。

喜歡QQ群的，可以掃描下面二維碼：

歡迎大家通過二維碼打賞支持技術社區(qū)（英雄請留名，社區(qū)感謝您，打賞次數(shù)超過108+）：

總結

以上是生活随笔為你收集整理的大数据与云计算技术周报（第150期)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。