使用Gearman做分布式计算
生活随笔
收集整理的這篇文章主要介紹了
使用Gearman做分布式计算
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
通常,多語言多系統之間的集成是個大問題,一般來說,人們多半會采用WebService的方式來處理此類集成問題,但不管采用何種風格的WebService,如RPC風格,或者REST風格,其本身都有一定的復雜性。相比之下,
Gearman也能實現類似的作用,而且更簡單易用。
一個Gearman請求的處理過程涉及三個角色:Client -> Job -> Worker。
Client:請求的發起者,可以是C,PHP,Perl,MySQL UDF等等。
Job:請求的調度者,用來負責協調把Client發出的請求轉發給合適的Work。
Worker:請求的處理者,可以是C,PHP,Perl等等。
因為Client,Worker并不限制用一樣的語言,所以有利于多語言多系統之間的集成。
甚至我們通過增加更多的Worker,可以很方便的實現應用程序的分布式負載均衡架構。
下面看看如何安裝運行一個例子,條件所限,我們把Client,Job,Worker三個角色運行在一臺服務器上:
安裝Gearman server and library:
wget http://launchpad.net/gearmand/trunk/0.8/+download/gearmand-0.8.tar.gz
tar zxf gearmand-0.8.tar.gz
cd gearmand-0.8
./configure
make
make install
安裝Gearman PHP extension:
wget http://pecl.php.net/get/gearman-0.4.0.tgz
tar zxf gearman-0.4.0.tgz
cd gearman-0.4.0
phpize
./configure
make
make install
編輯php.ini配置文件加載相應模塊并使之生效:
extension = "gearman.so"
啟動Job:
gearmand -d
如果當前用戶是root的話,則需要這樣操作:
gearmand -d -u root
缺省會使用4730端口,下面會用到。
注意:如果找不到gearmand命令的路徑,別忘了用whereis gearmand確認。
編寫Worker:
worker.php文件內容如下:
<?php
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', 4730);
$worker->addFunction('reverse', 'my_reverse_function');
while ($worker->work());
function my_reverse_function($job)
{
??? return strrev($job->workload());
}
?>
設置后臺運行work:
php worker.php &
編寫Client:
client.php文件內容如下:
<?php
$client= new GearmanClient();
$client->addServer('127.0.0.1', 4730);
echo $client->do('reverse', 'Hello World!'), "\n";
?>
運行client:
php client.php
輸出:!dlroW olleH
出于方便的考慮,Worker,Client使用的都是PHP,但這并不影響演示,實際應用中,你完全可以通過Gearman集成不同語言實現的Worker,Client。或許此時你還想了解前面提到的負載均衡功能:很簡單,只要增加多個Worker即可,你可以按照worker.php的樣子多寫幾個類似的文件,并設置不同的返回值用以識別演示效果。然后依次啟動這幾個Worker文件,并多次使用client.php去請求,你就會發現Job會把Client請求轉發給不同的Worker。
命令行工具
如果你覺得安裝PHP之類的東西太麻煩的話,你也可以僅僅通過命令行工具來體驗Gearman的功能:
啟動Worker: gearman -w -f wc -- wc -l &
運行Client: gearman -f wc < /etc/passwd
具體可以參考 官方文檔,還有一些不錯的 PDF。
一個Gearman請求的處理過程涉及三個角色:Client -> Job -> Worker。
Client:請求的發起者,可以是C,PHP,Perl,MySQL UDF等等。
Job:請求的調度者,用來負責協調把Client發出的請求轉發給合適的Work。
Worker:請求的處理者,可以是C,PHP,Perl等等。
因為Client,Worker并不限制用一樣的語言,所以有利于多語言多系統之間的集成。
甚至我們通過增加更多的Worker,可以很方便的實現應用程序的分布式負載均衡架構。
下面看看如何安裝運行一個例子,條件所限,我們把Client,Job,Worker三個角色運行在一臺服務器上:
安裝Gearman server and library:
wget http://launchpad.net/gearmand/trunk/0.8/+download/gearmand-0.8.tar.gz
tar zxf gearmand-0.8.tar.gz
cd gearmand-0.8
./configure
make
make install
安裝Gearman PHP extension:
wget http://pecl.php.net/get/gearman-0.4.0.tgz
tar zxf gearman-0.4.0.tgz
cd gearman-0.4.0
phpize
./configure
make
make install
編輯php.ini配置文件加載相應模塊并使之生效:
extension = "gearman.so"
啟動Job:
gearmand -d
如果當前用戶是root的話,則需要這樣操作:
gearmand -d -u root
缺省會使用4730端口,下面會用到。
注意:如果找不到gearmand命令的路徑,別忘了用whereis gearmand確認。
編寫Worker:
worker.php文件內容如下:
<?php
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', 4730);
$worker->addFunction('reverse', 'my_reverse_function');
while ($worker->work());
function my_reverse_function($job)
{
??? return strrev($job->workload());
}
?>
設置后臺運行work:
php worker.php &
編寫Client:
client.php文件內容如下:
<?php
$client= new GearmanClient();
$client->addServer('127.0.0.1', 4730);
echo $client->do('reverse', 'Hello World!'), "\n";
?>
運行client:
php client.php
輸出:!dlroW olleH
出于方便的考慮,Worker,Client使用的都是PHP,但這并不影響演示,實際應用中,你完全可以通過Gearman集成不同語言實現的Worker,Client。或許此時你還想了解前面提到的負載均衡功能:很簡單,只要增加多個Worker即可,你可以按照worker.php的樣子多寫幾個類似的文件,并設置不同的返回值用以識別演示效果。然后依次啟動這幾個Worker文件,并多次使用client.php去請求,你就會發現Job會把Client請求轉發給不同的Worker。
命令行工具
如果你覺得安裝PHP之類的東西太麻煩的話,你也可以僅僅通過命令行工具來體驗Gearman的功能:
啟動Worker: gearman -w -f wc -- wc -l &
運行Client: gearman -f wc < /etc/passwd
具體可以參考 官方文檔,還有一些不錯的 PDF。
總結
以上是生活随笔為你收集整理的使用Gearman做分布式计算的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 求风在吼马在叫黄河在咆哮歌词!
- 下一篇: F5与NetScaler比较