這次我有幸參加了51CTO舉辦的2013年大數據峰會，這次大會的主題是大數據的運維（第一天）以及大數據的分析（第二天）。?

大數據到底是啥意思呢？從字眼上就是很多很大量的數據，可以叫做海量數據。

當數據很小時，你可以用一臺機器頂住數據訪問壓力，再大時你可以加內存換SSD硬盤，或者采購性能很強勁的小型機，通過硬件去解決。

從架構層出發，于是就發展到了讀寫分離，同時有多臺Slave備機提供讀取業務，這樣就降低了數據庫的負載。 隨著數據的增長，發現依靠讀寫分離也解決不了高負荷高并發的訪問，Slave備機延時很大，于是又發展到了對表的水平切分，依靠表的主鍵取模，把數據平均分散到不同的小表，再分布到各臺機器上，可以看做是遷移數據，我之前寫過《一篇用戶信息表水平切分》的博文，有興趣的可以去訪問：http://hcymysql.blog.51cto.com/5223301/1179880 但這個有一個弊端，就是開發需要更改他們的代碼，增加路由訪問策略，要知道每張小表是分布到哪臺機器上，對開發人員并不是透明的，而對于DBA來說，每次都需要通過手工去拆分，比較繁瑣。 下面就進入了會議的正題，首先是新浪微博，他們的解決方案是通過數據庫前端CACHE層，用redis做緩存，采用nosql型數據庫（非傳統關系型數據庫），降低數據庫的負載。他們沒有采用memcache，是考慮到數據可以持久化的保存在磁盤上，解決了服務重啟后數據不丟失的問題，且存儲的數據類型較多。 下面是淘寶，他們的開源軟件Oceanbase海量數據平臺（數據庫中間件），其原理也是通過對主鍵的取模，把一張大表拆分成N張小表并存儲到各臺服務器上，前端應用訪問海量平臺，經過海量平臺處理，把請求發送到后端MySQL數據庫上，MySQL完成數據查詢，再經過中間件，將結果送回客戶端。這樣對開發來說是透明的，代碼層加上API接口，開發不需要知道每張小表具體放在哪臺服務器上，DBA也減少了繁瑣的水平拆表的工作。 目前應用在收藏夾、直通車報表、天貓評價等OLTP和OLAP在線業務，線上數據量已經超過一千億條。 更多介紹請參考官網：http://alibaba.github.io/oceanbase/ 第二天，主要介紹了數據分析與挖掘，當數據總量將達到1.8萬億GB，對這些海量數據的分析已經成為一個非常重要且緊迫的需求。Hadoop基于MapReduce在可伸縮性、健壯性、計算性能和成本上具有無可替代的優勢，目前已成為當前互聯網企業主流的大數據分析平臺。 目前淘寶，百度，暴風影音，360安全衛士都采用hadoop做海量數據分析。 關鍵詞：MySQL、nosql、hadoop已成為當今互聯網行業最流行、最前端的技術。

?

?

本文轉自hcymysql51CTO博客，原文鏈接：http://blog.51cto.com/hcymysql/1188630?，如需轉載請自行聯系原作者

總結

以上是生活随笔為你收集整理的2013年大数据全球技术峰会观后感的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。