當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

关于memcached的收集

發(fā)布時(shí)間：2023/12/15 编程问答 23 豆豆

生活随笔收集整理的這篇文章主要介紹了关于memcached的收集小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

關(guān)于memcached的收集

Memcached是什么?

Memcached是高性能的，分布式的內(nèi)存對(duì)象緩存系統(tǒng)，用于在動(dòng)態(tài)應(yīng)用中減少數(shù)據(jù)庫(kù)負(fù)載，提升訪問速度。
Memcached由Danga Interactive開發(fā)，用于提升LiveJournal.com訪問速度的。LJ每秒動(dòng)態(tài)頁(yè)面訪問量幾千次，用戶700萬。Memcached將數(shù)據(jù)庫(kù)負(fù)載大幅度降低，更好的分配資源，更快速訪問。

如何使用memcached-Server端?

在服務(wù)端運(yùn)行：
# ./memcached -d -m 2048 -l 10.0.0.40 -p 11211
這將會(huì)啟動(dòng)一個(gè)占用2G內(nèi)存的進(jìn)程，并打開11211端口用于接收請(qǐng)求。由于32位系統(tǒng)只能處理4G內(nèi)存的尋址，所以在大于4G內(nèi)存使用PAE的32位服務(wù)器上可以運(yùn)行2-3個(gè)進(jìn)程，并在不同端口進(jìn)行監(jiān)聽。

如何使用memcached-Client端?

在應(yīng)用端包含一個(gè)用于描述Client的Class后，就可以直接使用，非常簡(jiǎn)單。
PHP Example:
$options["servers"] = array("192.168.1.41:11211", "192.168.1.42:11212");
$options["debug"] = false;
$memc = new MemCachedClient($options);
$myarr = array("one","two", 3);
$memc->set("key_one", $myarr);
$val = $memc->get("key_one");
print $val[0]."\n"; // prints 'one‘
print $val[1]."\n"; // prints 'two‘
print $val[2]."\n"; // prints 3

為什么不使用數(shù)據(jù)庫(kù)做這些？

暫且不考慮使用什么樣的數(shù)據(jù)庫(kù)(MS-SQL, Oracle, Postgres, MysQL-InnoDB, etc..), 實(shí)現(xiàn)事務(wù)(ACID，Atomicity, Consistency, Isolation, and Durability )需要大量開銷，特別當(dāng)使用到硬盤的時(shí)候，這就意味著查詢可能會(huì)阻塞。當(dāng)使用不包含事務(wù)的數(shù)據(jù)庫(kù)（例如Mysql-MyISAM），上面的開銷不存在，但讀線程又可能會(huì)被寫線程阻塞。
Memcached從不阻塞，速度非常快。

為什么不使用共享內(nèi)存?

最初的緩存做法是在線程內(nèi)對(duì)對(duì)象進(jìn)行緩存，但這樣進(jìn)程間就無法共享緩存，命中率非常低，導(dǎo)致緩存效率極低。后來出現(xiàn)了共享內(nèi)存的緩存，多個(gè)進(jìn)程或者線程共享同一塊緩存，但畢竟還是只能局限在一臺(tái)機(jī)器上，多臺(tái)機(jī)器做相同的緩存同樣是一種資源的浪費(fèi)，而且命中率也比較低。
Memcached Server和Clients共同工作，實(shí)現(xiàn)跨服務(wù)器分布式的全局的緩存。并且可以與Web Server共同工作，Web Server對(duì)CPU要求高，對(duì)內(nèi)存要求低，Memcached Server對(duì)CPU要求低，對(duì)內(nèi)存要求高，所以可以搭配使用。

Mysql 4.x的緩存怎么樣?

Mysql查詢緩存不是很理想，因?yàn)橐韵聨c(diǎn)：
當(dāng)指定的表發(fā)生更新后，查詢緩存會(huì)被清空。在一個(gè)大負(fù)載的系統(tǒng)上這樣的事情發(fā)生的非常頻繁，導(dǎo)致查詢緩存效率非常低，有的情況下甚至還不如不開，因?yàn)樗鼘?duì)cache的管理還是會(huì)有開銷。
在32位機(jī)器上，Mysql對(duì)內(nèi)存的操作還是被限制在4G以內(nèi)，但memcached可以分布開，內(nèi)存規(guī)模理論上不受限制。
Mysql上的是查詢緩存，而不是對(duì)象緩存，如果在查詢后還需要大量其它操作，查詢緩存就幫不上忙了。
如果要緩存的數(shù)據(jù)不大，并且查詢的不是非常頻繁，這樣的情況下可以用Mysql 查詢緩存，不然的話memcached更好。

數(shù)據(jù)庫(kù)同步怎么樣？

這里的數(shù)據(jù)庫(kù)同步是指的類似Mysql Master-Slave模式的靠日志同步實(shí)現(xiàn)數(shù)據(jù)庫(kù)同步的機(jī)制。
你可以分布讀操作，但無法分布寫操作，但寫操作的同步需要消耗大量的資源，而且這個(gè)開銷是隨著slave服務(wù)器的增長(zhǎng)而不斷增長(zhǎng)的。
下一步是要對(duì)數(shù)據(jù)庫(kù)進(jìn)行水平切分，從而讓不同的數(shù)據(jù)分布到不同的數(shù)據(jù)庫(kù)服務(wù)器組上，從而實(shí)現(xiàn)分布的讀寫，這需要在應(yīng)用中實(shí)現(xiàn)根據(jù)不同的數(shù)據(jù)連接不同的數(shù)據(jù)庫(kù)。
當(dāng)這一模式工作后（我們也推薦這樣做），更多的數(shù)據(jù)庫(kù)導(dǎo)致更多的讓人頭疼的硬件錯(cuò)誤。
Memcached可以有效的降低對(duì)數(shù)據(jù)庫(kù)的訪問，讓數(shù)據(jù)庫(kù)用主要的精力來做不頻繁的寫操作，而這是數(shù)據(jù)庫(kù)自己控制的，很少會(huì)自己阻塞自己。

Memcached快嗎？

非常快，它使用libevent，可以應(yīng)付任意數(shù)量打開的連接（使用epoll，而非poll），使用非阻塞網(wǎng)絡(luò)IO，分布式散列對(duì)象到不同的服務(wù)器，查詢復(fù)雜度是O(1)。

參考資料：
Distributed Caching with Memcached | Linux Journal
http://www.danga.com/

肖理達(dá) (KrazyNio AT hotmail.com), 2006.04. 06, 轉(zhuǎn)載請(qǐng)注明出處

一、memcached 簡(jiǎn)介

在很多場(chǎng)合，我們都會(huì)聽到 memcached 這個(gè)名字，但很多同學(xué)只是聽過，并沒有用過或?qū)嶋H了解過，只知道它是一個(gè)很不錯(cuò)的東東。這里簡(jiǎn)單介紹一下，memcached 是高效、快速的分布式內(nèi)存對(duì)象緩存系統(tǒng)，主要用于加速 WEB 動(dòng)態(tài)應(yīng)用程序。

二、memcached 安裝

首先是下載 memcached 了，目前最新版本是 1.1.12，直接從官方網(wǎng)站即可下載到 memcached-1.1.12.tar.gz。除此之外，memcached 用到了 libevent，我下載的是 libevent-1.1a.tar.gz。

接下來是分別將 libevent-1.1a.tar.gz 和 memcached-1.1.12.tar.gz 解開包、編譯、安裝：

[cmd]
# tar -xzf libevent-1.1a.tar.gz
# cd libevent-1.1a
# ./configure --prefix=/usr
# make
# make install
# cd ..
# tar -xzf memcached-1.1.12.tar.gz
# cd memcached-1.1.12
# ./configure --prefix=/usr
# make
# make install
[/cmd]

安裝完成之后，memcached 應(yīng)該在 /usr/bin/memcached。

三、運(yùn)行 memcached 守護(hù)程序

運(yùn)行 memcached 守護(hù)程序很簡(jiǎn)單，只需一個(gè)命令行即可，不需要修改任何配置文件（也沒有配置文件給你修改）：
[cmd]
/usr/bin/memcached -d -m 128 -l 192.168.1.1 -p 11211 -u httpd
參數(shù)解釋：

-d 以守護(hù)程序（daemon）方式運(yùn)行 memcached；
-m 設(shè)置 memcached 可以使用的內(nèi)存大小，單位為 M；
-l 設(shè)置監(jiān)聽的 IP 地址，如果是本機(jī)的話，通常可以不設(shè)置此參數(shù)；
-p 設(shè)置監(jiān)聽的端口，默認(rèn)為 11211，所以也可以不設(shè)置此參數(shù)；
-u 指定用戶，如果當(dāng)前為 root 的話，需要使用此參數(shù)指定用戶。

當(dāng)然，還有其它參數(shù)可以用，man memcached 一下就可以看到了。
[/cmd]

四、memcached 的工作原理

首先 memcached 是以守護(hù)程序方式運(yùn)行于一個(gè)或多個(gè)服務(wù)器中，隨時(shí)接受客戶端的連接操作，客戶端可以由各種語(yǔ)言編寫，目前已知的客戶端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等客戶端在與 memcached 服務(wù)建立連接之后，接下來的事情就是存取對(duì)象了，每個(gè)被存取的對(duì)象都有一個(gè)唯一的標(biāo)識(shí)符 key，存取操作均通過這個(gè) key 進(jìn)行，保存到 memcached 中的對(duì)象實(shí)際上是放置內(nèi)存中的，并不是保存在 cache 文件中的，這也是為什么 memcached 能夠如此高效快速的原因。注意，這些對(duì)象并不是持久的，服務(wù)停止之后，里邊的數(shù)據(jù)就會(huì)丟失。

三、PHP 如何作為 memcached 客戶端

有兩種方法可以使 PHP 作為 memcached 客戶端，調(diào)用 memcached 的服務(wù)進(jìn)行對(duì)象存取操作。

第一種，PHP 有一個(gè)叫做 memcache 的擴(kuò)展，Linux 下編譯時(shí)需要帶上 –enable-memcache[=DIR] 選項(xiàng)，Window 下則在 php.ini 中去掉 php_memcache.dll 前邊的注釋符，使其可用。

除此之外，還有一種方法，可以避開擴(kuò)展、重新編譯所帶來的麻煩，那就是直接使用 php-memcached-client。

本文選用第二種方式，雖然效率會(huì)比擴(kuò)展庫(kù)稍差一些，但問題不大。

四、PHP memcached 應(yīng)用示例

首先下載 memcached-client.php，在下載了 memcached-client.php 之后，就可以通過這個(gè)文件中的類“memcached”對(duì) memcached 服務(wù)進(jìn)行操作了。其實(shí)代碼調(diào)用非常簡(jiǎn)單，主要會(huì)用到的方法有 add()、get()、replace() 和 delete()，方法說明如下：

add ($key, $val, $exp = 0)
往 memcached 中寫入對(duì)象，$key 是對(duì)象的唯一標(biāo)識(shí)符，$val 是寫入的對(duì)象數(shù)據(jù)，$exp 為過期時(shí)間，單位為秒，默認(rèn)為不限時(shí)間；

get ($key)
從 memcached 中獲取對(duì)象數(shù)據(jù)，通過對(duì)象的唯一標(biāo)識(shí)符 $key 獲取；

replace ($key, $value, $exp=0)
使用 $value 替換 memcached 中標(biāo)識(shí)符為 $key 的對(duì)象內(nèi)容，參數(shù)與 add() 方法一樣，只有 $key 對(duì)象存在的情況下才會(huì)起作用；

delete ($key, $time = 0)
刪除 memcached 中標(biāo)識(shí)符為 $key 的對(duì)象，$time 為可選參數(shù)，表示刪除之前需要等待多長(zhǎng)時(shí)間。

下面是一段簡(jiǎn)單的測(cè)試代碼，代碼中對(duì)標(biāo)識(shí)符為 ‘mykey’ 的對(duì)象數(shù)據(jù)進(jìn)行存取操作：

PHP代碼: <?php
//?????包含?memcached?類文件
require_once(‘memcached-client.php’);
//?????選項(xiàng)設(shè)置
$options?=?array(
?????’servers’?=>?array(‘192.168.1.1:11211′),?//memcached?服務(wù)的地址、端口，可用多個(gè)數(shù)組元素表示多個(gè)?memcached?服務(wù)
?????‘debug’?=>?true,?????//是否打開?debug
?????‘compress_threshold’?=>?10240,?????//超過多少字節(jié)的數(shù)據(jù)時(shí)進(jìn)行壓縮
?????‘persistant’?=>?false?????//是否使用持久連接
?????);
//?????創(chuàng)建?memcached?對(duì)象實(shí)例
$mc?=?new?memcached($options);
//?????設(shè)置此腳本使用的唯一標(biāo)識(shí)符
$key?=?‘mykey’;
//?????往?memcached?中寫入對(duì)象
$mc->add($key,?’some?random?strings’);
$val?=?$mc->get($key);
echo?“n”.str_pad(‘$mc->add()?’,?60,?‘_’).“n”;
var_dump($val);
//?????替換已寫入的對(duì)象數(shù)據(jù)值
$mc->replace($key,?array(’some’=>‘haha’,?‘array’=>‘xxx’));
$val?=?$mc->get($key);
echo?“n”.str_pad(‘$mc->replace()?’,?60,?‘_’).“n”;
var_dump($val);
//?????刪除?memcached?中的對(duì)象
$mc->delete($key);
$val?=?$mc->get($key);
echo?“n”.str_pad(‘$mc->delete()?’,?60,?‘_’).“n”;
var_dump($val);
?>

是不是很簡(jiǎn)單，在實(shí)際應(yīng)用中，通常會(huì)把數(shù)據(jù)庫(kù)查詢的結(jié)果集保存到 memcached 中，下次訪問時(shí)直接從 memcached 中獲取，而不再做數(shù)據(jù)庫(kù)查詢操作，這樣可以在很大程度上減輕數(shù)據(jù)庫(kù)的負(fù)擔(dān)。通常會(huì)將 SQL 語(yǔ)句 md5() 之后的值作為唯一標(biāo)識(shí)符 key。下邊是一個(gè)利用 memcached 來緩存數(shù)據(jù)庫(kù)查詢結(jié)果集的示例（此代碼片段緊接上邊的示例代碼）：

PHP代碼: <?php
$sql?=?‘SELECT?*?FROM?users’;
$key?=?md5($sql);?????//memcached?對(duì)象標(biāo)識(shí)符
if?(?!($datas?=?$mc->get($key))?)?{
?????//?????在?memcached?中未獲取到緩存數(shù)據(jù)，則使用數(shù)據(jù)庫(kù)查詢獲取記錄集。
?????echo?“n”.str_pad(‘Read?datas?from?MySQL.’,?60,?‘_’).“n”;
?????$conn?=?mysql_connect(‘localhost’,?‘test’,?‘test’);
?????mysql_select_db(‘test’);
?????$result?=?mysql_query($sql);
?????while?($row?=?mysql_fetch_object($result))
?????????????$datas[]?=?$row;
?????//?????將數(shù)據(jù)庫(kù)中獲取到的結(jié)果集數(shù)據(jù)保存到?memcached?中，以供下次訪問時(shí)使用。
?????$mc->add($key,?$datas);
}?else?{
?????echo?“n”.str_pad(‘Read?datas?from?memcached.’,?60,?‘_’).“n”;
}
var_dump($datas);
?>

可以看出，使用 memcached 之后，可以減少數(shù)據(jù)庫(kù)連接、查詢操作，數(shù)據(jù)庫(kù)負(fù)載下來了，腳本的運(yùn)行速度也提高了。

之前我曾經(jīng)寫過一篇名為《PHP 實(shí)現(xiàn)多服務(wù)器共享 SESSION 數(shù)據(jù)》文章，文中的 SESSION 是使用數(shù)據(jù)庫(kù)保存的，在并發(fā)訪問量大的時(shí)候，服務(wù)器的負(fù)載會(huì)很大，經(jīng)常會(huì)超出 MySQL 最大連接數(shù)，利用 memcached，我們可以很好地解決這個(gè)問題，工作原理如下：

用戶訪問網(wǎng)頁(yè)時(shí)，查看 memcached 中是否有當(dāng)前用戶的 SESSION 數(shù)據(jù)，使用 session_id() 作為唯一標(biāo)識(shí)符；如果數(shù)據(jù)存在，則直接返回，如果不存在，再進(jìn)行數(shù)據(jù)庫(kù)連接，獲取 SESSION 數(shù)據(jù)，并將此數(shù)據(jù)保存到 memcached 中，供下次使用；
當(dāng)前的 PHP 運(yùn)行結(jié)束（或使用了 session_write_close()）時(shí)，會(huì)調(diào)用 My_Sess::write() 方法，將數(shù)據(jù)寫入數(shù)據(jù)庫(kù)，這樣的話，每次仍然會(huì)有數(shù)據(jù)庫(kù)操作，對(duì)于這個(gè)方法，也需要進(jìn)行優(yōu)化。使用一個(gè)全局變量，記錄用戶進(jìn)入頁(yè)面時(shí)的 SESSION 數(shù)據(jù)，然后在 write() 方法內(nèi)比較此數(shù)據(jù)與想要寫入的 SESSION 數(shù)據(jù)是否相同，不同才進(jìn)行數(shù)據(jù)庫(kù)連接、寫入數(shù)據(jù)庫(kù)，同時(shí)將 memcached 中對(duì)應(yīng)的對(duì)象刪除，如果相同的話，則表示 SESSION 數(shù)據(jù)未改變，那么就可以不做任何操作，直接返回了；
那么用戶 SESSION 過期時(shí)間怎么解決呢？記得 memcached 的 add() 方法有個(gè)過期時(shí)間參數(shù) $exp 嗎？把這個(gè)參數(shù)值設(shè)置成小于 SESSION 最大存活時(shí)間即可。另外別忘了給那些一直在線的用戶延續(xù) SESSION 時(shí)長(zhǎng)，這個(gè)可以在 write() 方法中解決，通過判斷時(shí)間，符合條件則更新數(shù)據(jù)庫(kù)數(shù)據(jù)。
五、相關(guān)資源

memcached 官方網(wǎng)站
PHP memcached client
下載 memcached-client.php

總結(jié)

以上是生活随笔為你收集整理的关于memcached的收集的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

memcached