php利用curl 多線程 模擬 并發(fā)的詳解

發(fā)布于 2014-12-07 10:17:25 | 265 次閱讀 | 評論: 0 | 來源: 網(wǎng)友投遞

PHP開源腳本語言PHP(外文名: Hypertext Preprocessor，中文名：“超文本預(yù)處理器”)是一種通用開源腳本語言。語法吸收了C語言、Java和Perl的特點，入門門檻較低，易于學習，使用廣泛，主要適用于Web開發(fā)領(lǐng)域。PHP的文件后綴名為php。

本文為大家講解的是php利用curl 多線程 模擬 并發(fā)的詳解，感興趣的同學參考下。

首先，先了解下 php中的curl多線程函數(shù)：

# curl_multi_add_handle

# curl_multi_close

# curl_multi_exec

# curl_multi_getcontent

# curl_multi_info_read

# curl_multi_init

# curl_multi_remove_handle

# curl_multi_select

一般來說，想到要用這些函數(shù)時，目的顯然應(yīng)該是要同時請求多個url，而不是一個一個依次請求，否則不如自己循環(huán)去調(diào)curl_exec好了。

步驟總結(jié)如下：

第一步：調(diào)用curl_multi_init

第二步：循環(huán)調(diào)用curl_multi_add_handle

這一步需要注意的是，curl_multi_add_handle的第二個參數(shù)是由curl_init而來的子handle。

第三步：持續(xù)調(diào)用curl_multi_exec

第四步：根據(jù)需要循環(huán)調(diào)用curl_multi_getcontent獲取結(jié)果

第五步：調(diào)用curl_multi_remove_handle，并為每個字handle調(diào)用curl_close

第六步：調(diào)用curl_multi_close

這里有一個網(wǎng)上找的簡單例子，其作者稱為dirty的例子，(稍后我會說明為何dirty)：

/*

Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1

*/

$connomains = array(

"http://www.cnn.com/",

"http://www.canada.com/",

"http://www.yahoo.com/"

);

$mh = curl_multi_init();

foreach ($connomains as $i => $url) {

$conn[$i]=curl_init($url);

curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);

curl_multi_add_handle ($mh,$conn[$i]);

}

do { $n=curl_multi_exec($mh,$active); } while ($active);

foreach ($connomains as $i => $url) {

$res[$i]=curl_multi_getcontent($conn[$i]);

curl_close($conn[$i]);

}

print_r($res);

整個使用過程差不多就是這樣，但是，這個簡單代碼有個致命弱點，就是在do循環(huán)的那段，在整個url請求期間是個死循環(huán)，它會輕易導(dǎo)致CPU占用100%。

現(xiàn)在我們來改進它，這里要用到一個幾乎沒有任何文檔的函數(shù)curl_multi_select了，雖然C的curl庫對select有說明，但是，php里的接口和用法確與C中有不同。

把上面do的那段改成下面這樣：

do {

$mrc = curl_multi_exec($mh,$active);

} while ($mrc == CURLM_CALL_MULTI_PERFORM);

while ($active and $mrc == CURLM_OK) {

if (curl_multi_select($mh) != -1) {

do {

$mrc = curl_multi_exec($mh, $active);

} while ($mrc == CURLM_CALL_MULTI_PERFORM);

}

}

因為$active要等全部url數(shù)據(jù)接受完畢才變成false，所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù)，當有數(shù)據(jù)的時候就不停調(diào)用curl_multi_exec，暫時沒有數(shù)據(jù)就進入select階段，新數(shù)據(jù)一來就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無謂消耗沒有了。

另外：還有一些細節(jié)的地方可能有時候要遇到：

控制每一個請求的超時時間，在curl_multi_add_handle之前通過curl_setopt去做：

curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

判斷是否超時了或者其他錯誤，在curl_multi_getcontent之前用：curl_error($conn[$i]);

這里我只是簡單使用上述的dirty的例子(足夠用了，并未發(fā)現(xiàn)cpu使用100%的情況)。

對“看點”(kandian.com)某一接口模擬并發(fā)，功能是向 memcache中讀數(shù)據(jù)并寫入數(shù)據(jù)。因為保密關(guān)系，相關(guān)數(shù)據(jù)及結(jié)果就不貼出了。

模擬了3次，第一次10線程同時請求1000次，第二次，100線程同時請求1000次，第三次，1000線程同時請求100次(已經(jīng)相當費勁了，不敢在設(shè)置超過1000的多線程)。

看來curl多線程模擬并發(fā)還是有一定局限的。

另外還懷疑，可能會因為多線程延遲帶來結(jié)果的大誤差，對比數(shù)據(jù)發(fā)現(xiàn)。在初始化和set所用時間出入不大，差別處在get方法，因此可簡單排除這點~~~

相關(guān)閱讀:

php利用curl 多線程 模擬 并發(fā)的詳解

PHP Curl多線程原理實例詳解

PHP CURL 多線程操作代碼實例

PHP實現(xiàn)多線程異步請求的3種方法

php fsockopen中多線程問題的解決辦法

PHP+shell實現(xiàn)多線程的方法

如何解決PHP無法實現(xiàn)多線程的問題

PHP安裝threads多線程擴展基礎(chǔ)教程

php利用curl抓取遠程頁面內(nèi)容的示例代碼

PHP CURL登錄郵箱獲取郵箱地址的詳解

PHP 異步執(zhí)行方法,模擬多線程的示例

PHP使用curl實現(xiàn)多線程采集的例子

總結(jié)

以上是生活随笔為你收集整理的php curl 模拟多线程,php利用curl 多线程 模拟 并发的详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。