傳統(tǒng)的企業(yè)級應用，其實很少會有海量應用，因為企業(yè)的規(guī)模本身就擺在那里，能有多少數(shù)據(jù)？高并發(fā)？海量數(shù)據(jù)？不存在的！

不過在互聯(lián)網(wǎng)公司中，因為應用大多是面向廣大人民群眾，數(shù)據(jù)量動輒上千萬上億，那么這些海量數(shù)據(jù)要怎么存儲？光靠數(shù)據(jù)庫嗎？肯定不是。

今天松哥和大家簡單的聊一聊這個話題。

海量數(shù)據(jù)，光用數(shù)據(jù)庫肯定是沒法搞定的，即使不讀松哥這篇文章，相信大家也能凝聚這樣的共識，海量數(shù)據(jù)，不是說一種方案、兩種方案就能搞定，它是一攬子方案。那么這一攬子方案都包含哪些東西呢？松哥從以下八個方面來和大家聊聊。

1.緩存

首先第一種解決方案就是緩存了。

緩存，我們可以將數(shù)據(jù)直接緩存在內(nèi)從中，例如 Map、也可以使用緩存框架如 Redis 等，將一些需要頻繁使用的熱點數(shù)據(jù)保存在緩存中，每當用戶來訪問的時候，就可以直接將緩存中的數(shù)據(jù)返回給用戶，這樣可以有效降低服務器的壓力。

可以緩存起來使用的數(shù)據(jù)，一般都不能對實時性要求太高。

2.頁面靜態(tài)化

頁面靜態(tài)化其實可以算作是緩存的另外一種形式，相當于直接將相關的頁面渲染結果緩存起來。首先大家知道，在我們的 Web 項目中，資源分為兩大類：

• 靜態(tài)資源

• 動態(tài)資源

靜態(tài)資源就是我們常見的 HTML、CSS、JavaScript、圖片等資源，這些資源可以不經(jīng)過服務端處理，就可以直接返回給前端瀏覽器，瀏覽器就可以直接顯示出來。

動態(tài)資源則是指我們項目中的 Servlet 接口、Jsp 文件、Freemarker 等，這些需要經(jīng)過服務端渲染之后，才可以返回前端的資源。

在實際項目中，靜態(tài)資源的訪問速度要遠遠高于動態(tài)資源，動態(tài)資源往往很容易遇到服務器瓶頸、數(shù)據(jù)庫瓶頸，因此，對于一些不經(jīng)常更新的頁面，或者說更新比較緩慢的頁面，我們可以通過頁面靜態(tài)化，將一個動態(tài)資源保存為靜態(tài)資源，這樣當服務端需要訪問的時候，直接將靜態(tài)資源返回，就可以避免去操作數(shù)據(jù)庫了，降低數(shù)據(jù)庫的壓力。

例如松哥以前做過的一個電商項目，系統(tǒng)根據(jù)大數(shù)據(jù)統(tǒng)計，自動統(tǒng)計出用戶當前搜索的熱點商品，這些熱點商品，10 分鐘更新一次，也就是說，在十分鐘內(nèi)，用戶登錄上來看到的熱點商品都是相同的。那么就沒有必要每次都去查詢數(shù)據(jù)庫，而是將熱點數(shù)據(jù)的頁面，通過輸出流自動寫到服務器上，寫成一個普通的 HTML 文件，下次用戶來訪問，在 10 分鐘有效期內(nèi)，直接將 HTML 頁面返回給用戶，就不必操作數(shù)據(jù)庫了。

一般來說，Freemarker、Velocity 等都有相關的方法可以幫助我們快速將動態(tài)頁面生成靜態(tài)頁面。

這就是頁面靜態(tài)化。

3.數(shù)據(jù)庫優(yōu)化

很多時候程序跑得慢，不是因為設備落后，而是因為數(shù)據(jù)庫 SQL 寫的太差勁。

要解決海量數(shù)據(jù)的問題，數(shù)據(jù)庫優(yōu)化肯定也是不可避免的。一般來說，我們可以從 SQL 優(yōu)化、表結構優(yōu)化、以及數(shù)據(jù)庫分區(qū)分表等多個方面來對數(shù)據(jù)庫進行優(yōu)化。數(shù)據(jù)庫優(yōu)化其實也是一門巨大的學問，松哥以后看有時間寫個連載和大家仔細聊聊這個話題。

4.熱點數(shù)據(jù)分離

數(shù)據(jù)庫中的數(shù)據(jù)，雖然是海量數(shù)據(jù)，但是這些數(shù)據(jù)并不見得所有數(shù)據(jù)都是活躍數(shù)據(jù)，例如用戶注冊，有的用戶注冊完就消失的無影無蹤了，而有的用戶則在不停的登錄，因此，對于這兩種不同的用戶，我們可以將活躍用戶分離出來，在主要操作的數(shù)據(jù)表中只保存活躍用戶數(shù)據(jù)。每次用戶登錄，先去主表中查看有沒有記錄，有的話，直接登錄，沒有的話，再去查看其他表。

通過判斷用戶在某一段時間內(nèi)的登錄次數(shù)，就可以很快分離出熱點數(shù)據(jù)。

5.合并數(shù)據(jù)庫操作

這個方案的宗旨其實是減少數(shù)據(jù)庫操作的次數(shù)，例如多次插入操作，我們可以合并成一條 SQL 搞定。多個不同條件的查詢，如果條件允許的話，也可以合并成為一個查詢，盡量減少數(shù)據(jù)庫的操作，減少在網(wǎng)絡上消耗，同時也降低數(shù)據(jù)庫的壓力。

6.數(shù)據(jù)庫讀寫分離

數(shù)據(jù)庫的讀寫分離其實松哥在之前的 MyCat 中也和大伙聊過了（MyCat 系列），讀寫分離之后，一方面可以提高數(shù)據(jù)庫的操作效率，另一方面也算是對數(shù)據(jù)庫的一個備份。這一塊的具體操作大家可以參考松哥前面的文章。

7.分布式數(shù)據(jù)庫

數(shù)據(jù)庫讀寫分離之后，無形中增大了代碼的復雜度，所以一般還需要借助分布式數(shù)據(jù)庫中間件，這樣可以有效提高數(shù)據(jù)庫的彈性，可以方便的隨時為數(shù)據(jù)庫擴容，同時也降低代碼的耦合度。

8.NoSQL 和 Hadoop

另外，引入 NoSQL 和 Hadoop 也是解決方案之一。NoSQL 突破了關系型數(shù)據(jù)庫中對表結構、字段等定義的條條框框，使用戶可以非常靈活方便的操作，另外 NoSQL 通過多個存儲塊存儲數(shù)據(jù)的特點，使得天然具備操作大數(shù)據(jù)的優(yōu)勢（快）。不過，老實說，NoSQL 目前還是在互聯(lián)網(wǎng)項目中比較常見，在傳統(tǒng)的企業(yè)級應用中還是比較少見。

Hadoop 就不必說了，大數(shù)據(jù)處理利器。

很多時候技術和架構只是一個工具，所有的東西都擺在你面前，關鍵是如何把這些東西組合在一起，使之產(chǎn)生最大化收益，這就需要大家慢慢琢磨，松哥后面也盡量和大家多分享一些這方面的經(jīng)驗。

好了，簡單的從 8 個方面和大家聊一聊這個問題，大家在工作中有沒有遇到類似問題呢？你都是怎么處理的？歡迎留言討論。

參考資料：

[1] 韓路彪.看透Spring MVC：源代碼分析與實踐[M].北京：機械工業(yè)出版社，2015.

有道無術，術可成；有術無道，止于術

歡迎大家關注Java之道公眾號

好文章，我在看??

新人創(chuàng)作打卡挑戰(zhàn)賽發(fā)博客就能抽獎！定制產(chǎn)品紅包拿不停！

總結

以上是生活随笔為你收集整理的给数据库减负的八个思路的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。