关于memcached的收集
關(guān)于memcached的收集
Memcached是什么?
Memcached是高性能的,分布式的內(nèi)存對(duì)象緩存系統(tǒng),用于在動(dòng)態(tài)應(yīng)用中減少數(shù)據(jù)庫(kù)負(fù)載,提升訪問速度。Memcached由Danga Interactive開發(fā),用于提升LiveJournal.com訪問速度的。LJ每秒動(dòng)態(tài)頁(yè)面訪問量幾千次,用戶700萬。Memcached將數(shù)據(jù)庫(kù)負(fù)載大幅度降低,更好的分配資源,更快速訪問。
如何使用memcached-Server端?
在服務(wù)端運(yùn)行:# ./memcached -d -m 2048 -l 10.0.0.40 -p 11211
這將會(huì)啟動(dòng)一個(gè)占用2G內(nèi)存的進(jìn)程,并打開11211端口用于接收請(qǐng)求。由于32位系統(tǒng)只能處理4G內(nèi)存的尋址,所以在大于4G內(nèi)存使用PAE的32位服務(wù)器上可以運(yùn)行2-3個(gè)進(jìn)程,并在不同端口進(jìn)行監(jiān)聽。
如何使用memcached-Client端?
在應(yīng)用端包含一個(gè)用于描述Client的Class后,就可以直接使用,非常簡(jiǎn)單。PHP Example:
$options["servers"] = array("192.168.1.41:11211", "192.168.1.42:11212");
$options["debug"] = false;
$memc = new MemCachedClient($options);
$myarr = array("one","two", 3);
$memc->set("key_one", $myarr);
$val = $memc->get("key_one");
print $val[0]."\n"; // prints 'one‘
print $val[1]."\n"; // prints 'two‘
print $val[2]."\n"; // prints 3
為什么不使用數(shù)據(jù)庫(kù)做這些?
暫且不考慮使用什么樣的數(shù)據(jù)庫(kù)(MS-SQL, Oracle, Postgres, MysQL-InnoDB, etc..), 實(shí)現(xiàn)事務(wù)(ACID,Atomicity, Consistency, Isolation, and Durability )需要大量開銷,特別當(dāng)使用到硬盤的時(shí)候,這就意味著查詢可能會(huì)阻塞。當(dāng)使用不包含事務(wù)的數(shù)據(jù)庫(kù)(例如Mysql-MyISAM),上面的開銷不存在,但 讀線程又可能會(huì)被寫線程阻塞。
Memcached從不阻塞,速度非常快。
為什么不使用共享內(nèi)存?
最初的緩存做法是在線程內(nèi)對(duì)對(duì)象進(jìn)行緩存,但這樣進(jìn)程間就無法共享緩存,命中率非常低,導(dǎo)致緩存效率極低。后來出現(xiàn)了共享內(nèi)存的緩存,多個(gè)進(jìn)程或者線程共享同一塊緩存,但畢竟還是只能局限在一臺(tái)機(jī)器上,多臺(tái)機(jī)器做相同的緩存同樣是一種資源的浪費(fèi),而且命中率也比較低。Memcached Server和Clients共同工作,實(shí)現(xiàn)跨服務(wù)器分布式的全局的緩存。并且可以與Web Server共同工作,Web Server對(duì)CPU要求高,對(duì)內(nèi)存要求低,Memcached Server對(duì)CPU要求低,對(duì)內(nèi)存要求高,所以可以搭配使用。
Mysql 4.x的緩存怎么樣?
Mysql查詢緩存不是很理想,因?yàn)橐韵聨c(diǎn):當(dāng)指定的表發(fā)生更新后,查詢緩存會(huì)被清空。在一個(gè)大負(fù)載的系統(tǒng)上這樣的事情發(fā)生的非常頻繁,導(dǎo)致查詢緩存效率非常低,有的情況下甚至還不如不開,因?yàn)樗鼘?duì)cache的管理還是會(huì)有開銷。
在32位機(jī)器上,Mysql對(duì)內(nèi)存的操作還是被限制在4G以內(nèi),但memcached可以分布開,內(nèi)存規(guī)模理論上不受限制。
Mysql上的是查詢緩存,而不是對(duì)象緩存,如果在查詢后還需要大量其它操作,查詢緩存就幫不上忙了。
如果要緩存的數(shù)據(jù)不大,并且查詢的不是非常頻繁,這樣的情況下可以用Mysql 查詢緩存,不然的話memcached更好。
數(shù)據(jù)庫(kù)同步怎么樣?
這里的數(shù)據(jù)庫(kù)同步是指的類似Mysql Master-Slave模式的靠日志同步實(shí)現(xiàn)數(shù)據(jù)庫(kù)同步的機(jī)制。你可以分布讀操作,但無法分布寫操作,但寫操作的同步需要消耗大量的資源,而且這個(gè)開銷是隨著slave服務(wù)器的增長(zhǎng)而不斷增長(zhǎng)的。
下一步是要對(duì)數(shù)據(jù)庫(kù)進(jìn)行水平切分,從而讓不同的數(shù)據(jù)分布到不同的數(shù)據(jù)庫(kù)服務(wù)器組上,從而實(shí)現(xiàn)分布的讀寫,這需要在應(yīng)用中實(shí)現(xiàn)根據(jù)不同的數(shù)據(jù)連接不同的數(shù)據(jù)庫(kù)。
當(dāng)這一模式工作后(我們也推薦這樣做),更多的數(shù)據(jù)庫(kù)導(dǎo)致更多的讓人頭疼的硬件錯(cuò)誤。
Memcached可以有效的降低對(duì)數(shù)據(jù)庫(kù)的訪問,讓數(shù)據(jù)庫(kù)用主要的精力來做不頻繁的寫操作,而這是數(shù)據(jù)庫(kù)自己控制的,很少會(huì)自己阻塞 自己。
Memcached快嗎?
非常快,它使用libevent,可以應(yīng)付任意數(shù)量打開的連接(使用epoll,而非poll),使用非阻塞網(wǎng)絡(luò)IO,分布式散列對(duì)象到不同的服務(wù)器,查詢復(fù)雜度是O(1)。
參考資料:
Distributed Caching with Memcached | Linux Journal
http://www.danga.com/
肖理達(dá) (KrazyNio AT hotmail.com), 2006.04. 06, 轉(zhuǎn)載請(qǐng)注明出處
一、memcached 簡(jiǎn)介
在很多場(chǎng)合,我們都會(huì)聽到 memcached 這個(gè)名字,但很多同學(xué)只是聽過,并沒有用過或?qū)嶋H了解過,只知道它是一個(gè)很不錯(cuò)的東東。這里簡(jiǎn)單介紹一下,memcached 是高效、快速的分布式內(nèi)存對(duì)象緩存系統(tǒng),主要用于加速 WEB 動(dòng)態(tài)應(yīng)用程序。
二、memcached 安裝
首先是下載 memcached 了,目前最新版本是 1.1.12,直接從官方網(wǎng)站即可下載到 memcached-1.1.12.tar.gz。除此之外,memcached 用到了 libevent,我下載的是 libevent-1.1a.tar.gz。
接下來是分別將 libevent-1.1a.tar.gz 和 memcached-1.1.12.tar.gz 解開包、編譯、安裝:
[cmd]
# tar -xzf libevent-1.1a.tar.gz
# cd libevent-1.1a
# ./configure --prefix=/usr
# make
# make install
# cd ..
# tar -xzf memcached-1.1.12.tar.gz
# cd memcached-1.1.12
# ./configure --prefix=/usr
# make
# make install
[/cmd]
安裝完成之后,memcached 應(yīng)該在 /usr/bin/memcached。
三、運(yùn)行 memcached 守護(hù)程序
運(yùn)行 memcached 守護(hù)程序很簡(jiǎn)單,只需一個(gè)命令行即可,不需要修改任何配置文件(也沒有配置文件給你修改 ):
[cmd]
/usr/bin/memcached -d -m 128 -l 192.168.1.1 -p 11211 -u httpd
參數(shù)解釋:
-d 以守護(hù)程序(daemon)方式運(yùn)行 memcached;
-m 設(shè)置 memcached 可以使用的內(nèi)存大小,單位為 M;
-l 設(shè)置監(jiān)聽的 IP 地址,如果是本機(jī)的話,通常可以不設(shè)置此參數(shù);
-p 設(shè)置監(jiān)聽的端口,默認(rèn)為 11211,所以也可以不設(shè)置此參數(shù);
-u 指定用戶,如果當(dāng)前為 root 的話,需要使用此參數(shù)指定用戶。
當(dāng)然,還有其它參數(shù)可以用,man memcached 一下就可以看到了。
[/cmd]
四、memcached 的工作原理
首先 memcached 是以守護(hù)程序方式運(yùn)行于一個(gè)或多個(gè)服務(wù)器中,隨時(shí)接受客戶端的連接操作,客戶端可以由各種語(yǔ)言編寫,目前已知的客戶端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等客戶端在與 memcached 服務(wù)建立連接之后,接下來的事情就是存取對(duì)象了,每個(gè)被存取的對(duì)象都有一個(gè)唯一的標(biāo)識(shí)符 key,存取操作均通過這個(gè) key 進(jìn)行,保存到 memcached 中的對(duì)象實(shí)際上是放置內(nèi)存中的,并不是保存在 cache 文件中的,這也是為什么 memcached 能夠如此高效快速的原因。注意,這些對(duì)象并不是持久的,服務(wù)停止之后,里邊的數(shù)據(jù)就會(huì)丟失。
三、PHP 如何作為 memcached 客戶端
有兩種方法可以使 PHP 作為 memcached 客戶端,調(diào)用 memcached 的服務(wù)進(jìn)行對(duì)象存取操作。
第一種,PHP 有一個(gè)叫做 memcache 的擴(kuò)展,Linux 下編譯時(shí)需要帶上 –enable-memcache[=DIR] 選項(xiàng),Window 下則在 php.ini 中去掉 php_memcache.dll 前邊的注釋符,使其可用。
除此之外,還有一種方法,可以避開擴(kuò)展、重新編譯所帶來的麻煩,那就是直接使用 php-memcached-client。
本文選用第二種方式,雖然效率會(huì)比擴(kuò)展庫(kù)稍差一些,但問題不大。
四、PHP memcached 應(yīng)用示例
首先 下載 memcached-client.php,在下載了 memcached-client.php 之后,就可以通過這個(gè)文件中的類“memcached”對(duì) memcached 服務(wù)進(jìn)行操作了。其實(shí)代碼調(diào)用非常簡(jiǎn)單,主要會(huì)用到的方法有 add()、get()、replace() 和 delete(),方法說明如下:
add ($key, $val, $exp = 0)
往 memcached 中寫入對(duì)象,$key 是對(duì)象的唯一標(biāo)識(shí)符,$val 是寫入的對(duì)象數(shù)據(jù),$exp 為過期時(shí)間,單位為秒,默認(rèn)為不限時(shí)間;
get ($key)
從 memcached 中獲取對(duì)象數(shù)據(jù),通過對(duì)象的唯一標(biāo)識(shí)符 $key 獲取;
replace ($key, $value, $exp=0)
使用 $value 替換 memcached 中標(biāo)識(shí)符為 $key 的對(duì)象內(nèi)容,參數(shù)與 add() 方法一樣,只有 $key 對(duì)象存在的情況下才會(huì)起作用;
delete ($key, $time = 0)
刪除 memcached 中標(biāo)識(shí)符為 $key 的對(duì)象,$time 為可選參數(shù),表示刪除之前需要等待多長(zhǎng)時(shí)間。
下面是一段簡(jiǎn)單的測(cè)試代碼,代碼中對(duì)標(biāo)識(shí)符為 ‘mykey’ 的對(duì)象數(shù)據(jù)進(jìn)行存取操作:
//?????包含?memcached?類文件
require_once(‘memcached-client.php’);
//?????選項(xiàng)設(shè)置
$options?=?array(
?????’servers’?=>?array(‘192.168.1.1:11211′),?//memcached?服務(wù)的地址、端口,可用多個(gè)數(shù)組元素表示多個(gè)?memcached?服務(wù)
?????‘debug’?=>?true,?????//是否打開?debug
?????‘compress_threshold’?=>?10240,?????//超過多少字節(jié)的數(shù)據(jù)時(shí)進(jìn)行壓縮
?????‘persistant’?=>?false?????//是否使用持久連接
?????);
//?????創(chuàng)建?memcached?對(duì)象實(shí)例
$mc?=?new?memcached($options);
//?????設(shè)置此腳本使用的唯一標(biāo)識(shí)符
$key?=?‘mykey’;
//?????往?memcached?中寫入對(duì)象
$mc->add($key,?’some?random?strings’);
$val?=?$mc->get($key);
echo?“n”.str_pad(‘$mc->add()?’,?60,?‘_’).“n”;
var_dump($val);
//?????替換已寫入的對(duì)象數(shù)據(jù)值
$mc->replace($key,?array(’some’=>‘haha’,?‘array’=>‘xxx’));
$val?=?$mc->get($key);
echo?“n”.str_pad(‘$mc->replace()?’,?60,?‘_’).“n”;
var_dump($val);
//?????刪除?memcached?中的對(duì)象
$mc->delete($key);
$val?=?$mc->get($key);
echo?“n”.str_pad(‘$mc->delete()?’,?60,?‘_’).“n”;
var_dump($val);
?>
是不是很簡(jiǎn)單,在實(shí)際應(yīng)用中,通常會(huì)把數(shù)據(jù)庫(kù)查詢的結(jié)果集保存到 memcached 中,下次訪問時(shí)直接從 memcached 中獲取,而不再做數(shù)據(jù)庫(kù)查詢操作,這樣可以在很大程度上減輕數(shù)據(jù)庫(kù)的負(fù)擔(dān)。通常會(huì)將 SQL 語(yǔ)句 md5() 之后的值作為唯一標(biāo)識(shí)符 key。下邊是一個(gè)利用 memcached 來緩存數(shù)據(jù)庫(kù)查詢結(jié)果集的示例(此代碼片段緊接上邊的示例代碼):
PHP代碼: <?php$sql?=?‘SELECT?*?FROM?users’;
$key?=?md5($sql);?????//memcached?對(duì)象標(biāo)識(shí)符
if?(?!($datas?=?$mc->get($key))?)?{
?????//?????在?memcached?中未獲取到緩存數(shù)據(jù),則使用數(shù)據(jù)庫(kù)查詢獲取記錄集。
?????echo?“n”.str_pad(‘Read?datas?from?MySQL.’,?60,?‘_’).“n”;
?????$conn?=?mysql_connect(‘localhost’,?‘test’,?‘test’);
?????mysql_select_db(‘test’);
?????$result?=?mysql_query($sql);
?????while?($row?=?mysql_fetch_object($result))
?????????????$datas[]?=?$row;
?????//?????將數(shù)據(jù)庫(kù)中獲取到的結(jié)果集數(shù)據(jù)保存到?memcached?中,以供下次訪問時(shí)使用。
?????$mc->add($key,?$datas);
}?else?{
?????echo?“n”.str_pad(‘Read?datas?from?memcached.’,?60,?‘_’).“n”;
}
var_dump($datas);
?>
可以看出,使用 memcached 之后,可以減少數(shù)據(jù)庫(kù)連接、查詢操作,數(shù)據(jù)庫(kù)負(fù)載下來了,腳本的運(yùn)行速度也提高了。
之前我曾經(jīng)寫過一篇名為《PHP 實(shí)現(xiàn)多服務(wù)器共享 SESSION 數(shù)據(jù)》文章,文中的 SESSION 是使用數(shù)據(jù)庫(kù)保存的,在并發(fā)訪問量大的時(shí)候,服務(wù)器的負(fù)載會(huì)很大,經(jīng)常會(huì)超出 MySQL 最大連接數(shù),利用 memcached,我們可以很好地解決這個(gè)問題,工作原理如下:
用戶訪問網(wǎng)頁(yè)時(shí),查看 memcached 中是否有當(dāng)前用戶的 SESSION 數(shù)據(jù),使用 session_id() 作為唯一標(biāo)識(shí)符;如果數(shù)據(jù)存在,則直接返回,如果不存在,再進(jìn)行數(shù)據(jù)庫(kù)連接,獲取 SESSION 數(shù)據(jù),并將此數(shù)據(jù)保存到 memcached 中,供下次使用;
當(dāng)前的 PHP 運(yùn)行結(jié)束(或使用了 session_write_close())時(shí),會(huì)調(diào)用 My_Sess::write() 方法,將數(shù)據(jù)寫入數(shù)據(jù)庫(kù),這樣的話,每次仍然會(huì)有數(shù)據(jù)庫(kù)操作,對(duì)于這個(gè)方法,也需要進(jìn)行優(yōu)化。使用一個(gè)全局變量,記錄用戶進(jìn)入頁(yè)面時(shí)的 SESSION 數(shù)據(jù),然后在 write() 方法內(nèi)比較此數(shù)據(jù)與想要寫入的 SESSION 數(shù)據(jù)是否相同,不同才進(jìn)行數(shù)據(jù)庫(kù)連接、寫入數(shù)據(jù)庫(kù),同時(shí)將 memcached 中對(duì)應(yīng)的對(duì)象刪除,如果相同的話,則表示 SESSION 數(shù)據(jù)未改變,那么就可以不做任何操作,直接返回了;
那么用戶 SESSION 過期時(shí)間怎么解決呢?記得 memcached 的 add() 方法有個(gè)過期時(shí)間參數(shù) $exp 嗎?把這個(gè)參數(shù)值設(shè)置成小于 SESSION 最大存活時(shí)間即可。另外別忘了給那些一直在線的用戶延續(xù) SESSION 時(shí)長(zhǎng),這個(gè)可以在 write() 方法中解決,通過判斷時(shí)間,符合條件則更新數(shù)據(jù)庫(kù)數(shù)據(jù)。
五、相關(guān)資源
memcached 官方網(wǎng)站
PHP memcached client
下載 memcached-client.php
總結(jié)
以上是生活随笔為你收集整理的关于memcached的收集的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 转一个网络软件开发的广告
- 下一篇: XXE详解