mysql大数据分库和分表 php解决方案
1,主從復制,讀寫分離
對主庫修改數據,查詢使用從庫。一主多從,來降低數據庫讀取壓力。
2,分庫分表
根據實體業務來分庫,分表。如,根據數據的活躍性,根據用戶uid等。
3,MySQL 不同存儲引擎區別
InnoDB 用于數據完整性/寫性能要求比較高的應用. MyISAM 適合查詢應用。
?
分表是分散數據庫壓力的好方法。
分表,最直白的意思,就是將一個表結構分為多個表,然后,可以再同一個庫里,也可以放到不同的庫。
當然,首先要知道什么情況下,才需要分表。個人覺得單表記錄條數達到百萬到千萬級別時就要使用分表了。
1,分表的分類
1>縱向分表
將本來可以在同一個表的內容,人為劃分為多個表。(所謂的本來,是指按照關系型數據庫的第三范式要求,是應該在同一個表的。)
分表理由:根據數據的活躍度進行分離,(因為不同活躍的數據,處理方式是不同的)
案例:
對于一個博客系統,文章標題,作者,分類,創建時間等,是變化頻率慢,查詢次數多,而且最好有很好的實時性的數據,我們把它叫做冷數據。而博客的瀏覽量,回復數等,類似的統計信息,或者別的變化頻率比較高的數據,我們把它叫做活躍數據。所以,在進行數據庫結構設計的時候,就應該考慮分表,首先是縱向分表的處理。
這樣縱向分表后:
首先存儲引擎的使用不同,冷數據使用MyIsam 可以有更好的查詢數據。活躍數據,可以使用Innodb ,可以有更好的更新速度。
其次,對冷數據進行更多的從庫配置,因為更多的操作時查詢,這樣來加快查詢速度。對熱數據,可以相對有更多的主庫的橫向分表處理。
其實,對于一些特殊的活躍數據,也可以考慮使用memcache ,Redis
之類的緩存,等累計到一定量再去更新數據庫。或者MongoDB 一類的nosql 數據庫,這里只是舉例,就先不說這個。
2>橫向分表
字面意思,就可以看出來,是把大的表結構,橫向切割為同樣結構的不同表,如,用戶信息表,user_1,user_2 等。表結構是完全一樣,但是,根據某些特定的規則來劃分的表,如根據用戶ID來取模劃分。
分表理由:根據數據量的規模來劃分,保證單表的容量不會太大,從而來保證單表的查詢等處理能力。
案例:同上面的例子,博客系統。當博客的量達到很大時候,就應該采取橫向分割來降低每個單表的壓力,來提升性能。例如博客的冷數據表,假如分為100個表,當同時有100萬個用戶在瀏覽時,如果是單表的話,會進行100萬次請求,而現在分表后,就可能是每個表進行1萬個數據的請求(因為,不可能絕對的平均,只是假設),這樣壓力就降低了很多很多。
?
1,背景:一個地址薄的應用程序,設計的用戶量為2億,統計出每個用戶的地址薄為30個左右,整個數據量為60億,使用mysql數據庫(億級數據庫設計)
計劃分為:1000個表,100個庫
2,分庫分表代碼
private function getDbNo($email)
{
??? $m = md5($email);
??? $n = hexdec(substr($m, 0, 16));
??? $tableNo = fmod($n, 1000);
??? $dbNo = $tableNo % 100;
??? return array($dbNo, $tableNo);
}
3,配合的連接訪問代碼
require_once ‘Db/Config.PHP’;
class Db_Adapter
{
??? const MASTER??? = 0;
??? const SLAVE???? = 1;
??? private static $instances = array();
??? private $conf = array();
??? private $conns = array();
??? private $conn = NULL;
??? private $stmt = NULL;
??? public function __construct($conf)
??? {
??????? $this->conf = $conf;
??? }
??? public function execute($sql, $params)
??? {
??????? $cmd = substr(strtolower(trim($sql)), 0, 6);
??????? if ($cmd == ‘select’) {
??????????? $conn = $this->getConn(self::SLAVE);
??????? } else {
??????????? $conn = $this->getConn(self::MASTER);
??????? }
??????? $conn->prepare($sql);
??????? $stmt = $conn->execute($params);
??????? $this->conn = $conn;
??????? $this->stmt = $stmt;
??? }
??? public function fetch()
??? {
??????? return $this->stmt->fetch();
??? }
??? public function fetchAll()
??? {
??????? return $this->stmt->fetchAll();
??? }
??? public function lastInsertId($name = NULL)
??? {
??????? return $this->conn->lastInsertId($name);
??? }
??? public function rowCount()
??? {
??????? return $this->stmt->rowCount();
??? }
??? private function getConn($type)
??? {
??????? if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {
??????????? $id = 0;
??????? } else {
??????????? $id = 1;
??????? }
??????? if (!isset($this->conns[$id])) {
??????????? $conf = $this->conf[$id];
??????????? $this->conns[$id] = new PDO(
??????????????? $conf['dsn'], $conf['user'], $conf['pass'],
??????????????? self::dbOptions);
??????? }
??????? return $this->conns[$id];
??? }
??? public static function getInstance($dbName, $dbNo = 0)
??? {
??????? $key = $dbName . ‘_’ . $dbNo;
??????? if (!isset(self::$instances[$key])) {
??????????? $conf = Db_Config::getConfig($dbName, $dbNo); //連接配置參數
??????????? self::$instances[$key] = new self($conf);
??????? }
??????? return self::$instances[$key];
??? }
}
4,潛在問題
如果某個表中的那些用戶的地址薄聯系人超多,如每個人1000個,則可能出現該表超大,需要把該表區分為子表,暫時沒有配置中心來處理該情況。
(若真的出現該情況,在連接參數這個地方繼續作一次hash)。
來源:http://blog.csdn.net/u010817136/article/details/51038121
總結
以上是生活随笔為你收集整理的mysql大数据分库和分表 php解决方案的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 饿了么借钱授信失败什么意思
- 下一篇: csv数据的导出