php curl 句柄 复用,PHP-curl multi批处理CPU负载过高的解决办法
之前寫了個監(jiān)測的腳本,利用curl的多線程方式來讀取,結(jié)果導(dǎo)致CPU占用過高,經(jīng)過查找,找到可以降低CPU負(fù)載的方法,如下:
/**
* cURL multi批量處理
*
* @author mckee
* @link http://www.phpddt.com
*
*/
$url_array = array(
'http://www.phpddt.com/',
'http://www.phpddt.com/php/627.html',
'http://www.phpddt.com/php/258.html'
);
$handles = $contents = array();
//初始化curl multi對象
$mh = curl_multi_init();
//添加curl 批處理會話
foreach($url_array as $key => $url){
$handles[$key] = curl_init($url);
curl_setopt($handles[$key], CURLOPT_SSL_VERIFYPEER, false); //https支持
curl_setopt($handles[$key], CURLOPT_SSL_VERIFYHOST, false); //https支持
curl_setopt($handles[$key], CURLOPT_RETURNTRANSFER, 1);
curl_setopt($handles[$key], CURLOPT_TIMEOUT, 10);
curl_multi_add_handle($mh, $handles[$key]);
}
//======================執(zhí)行批處理句柄=================================
$active = null;
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
if(curl_multi_select($mh) === -1){
usleep(100);
}
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
//====================================================================
//獲取批處理內(nèi)容
foreach($handles as $i => $ch){
$content = curl_multi_getcontent($ch);
$contents[$i] = curl_errno($ch) == 0 ? $content : '';
}
//移除批處理句柄
foreach($handles as $ch){
curl_multi_remove_handle($mh, $ch);
}
//關(guān)閉批處理句柄
curl_multi_close($mh);
print_r($contents);
上面這段程序重點(diǎn)是執(zhí)行批處理的那段,普通的處理:
do { $n=curl_multi_exec($mh,$active); } while ($active);
會造成CPU Loading過高,因為$active要等全部url數(shù)據(jù)接受完畢才變成false,所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù),當(dāng)有數(shù)據(jù)的時候就不停調(diào)用curl_multi_exec,沒有執(zhí)行數(shù)據(jù)就會sleep,如此就會避免CPU Loading 100%了。
總結(jié)
以上是生活随笔為你收集整理的php curl 句柄 复用,PHP-curl multi批处理CPU负载过高的解决办法的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php 错误提示,php怎么显示错误
- 下一篇: php pdo 封装类,php pdo封