php curl重用,使用PHP CURL解析负载较重的站点?
我使用PHP CURL來解析負載很重的站點(這個站點甚至很少在瀏覽器中打開).在結果中,我有服務器響應代碼503或0(沒有).
也許您可以給我建議或告訴我一些CURL功能,以獲得正常的服務器響應?
有我的CURL選項:
$options = array(
CURLOPT_REFERER => $url,
CURLOPT_TIMEOUT => 1800,
CURLOPT_HEADER => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_SSL_VERIFYHOST => false,
CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_HEADERFUNCTION => "curlHeaderCallback",
CURLOPT_COOKIE => Cookies::arrayToString(Cookies::instance()->load()),
CURLOPT_USERAGENT => "Opera/9.80 (Windows NT 6.1; U; ru) Presto/2.9.168 Version/11.50",
CURLOPT_HTTPHEADER => $headers
);
問題是我無法通過頁面代碼獲得響應.
我有2個變種:
1.服務器沒有回答;
2.在服務器的回答中,我得到代碼為503的頁面“服務器超載”.
CurlHeaderCallback()代碼:
`function curlHeaderCallback($ch, $str)
{
if (strncmp($str, "Set-Cookie:", 11) === 0)
{
$cookie = trim(substr($str, 11));
list($cookie, $options) = explode(";", $cookie, 2);
list($key, $value) = explode("=", $cookie, 2);
Cookies::instance()->set($key, $value);
}
if (trim($str) == "")
{
curl_setopt($ch, CURLOPT_COOKIE, Cookies::arrayToString(Cookies::instance()->load()));
}
return (strlen($str));
}`
我的行動是:
$response = curl_exec($ch);
$info = curl_getinfo($ch);
我沒有回復和$info [“http_code”]或第二個變體:作為回應我有第503頁代碼和$info [“http_code”] = 503
哦,還有一個選擇是:
CURLOPT_CONNECTTIMEOUT => 30
解決方法:
如果您剛剛使用http代碼,則需要使用CURLINFO_HTTP_CODE使用curl_getinfo,例如;
$handle = curl_init($url);
curl_setopt($handle, CURLOPT_RETURNTRANSFER, TRUE);
$response = curl_exec($handle);
$httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);
標簽:php,curl,parsing
來源: https://codeday.me/bug/20190704/1372334.html
總結
以上是生活随笔為你收集整理的php curl重用,使用PHP CURL解析负载较重的站点?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php限制下载文件格式,php下载文件
- 下一篇: 随机事件概率的公理化定义_概率推理