Linuxcurl命令参数详解
生活随笔
收集整理的這篇文章主要介紹了
Linuxcurl命令参数详解
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
Linuxcurl是通過(guò)url語(yǔ)法在命令行下上傳或下載文件的工具軟件,它支持http,https,ftp,ftps,telnet等多種協(xié)議,常被用來(lái)抓取網(wǎng)頁(yè)和監(jiān)控Web服務(wù)器狀態(tài)。
1.linuxcurl抓取網(wǎng)頁(yè):
抓取百度:
curlhttp://www.baidu.com
如發(fā)現(xiàn)亂碼,可以使用iconv轉(zhuǎn)碼:
curlhttp://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
2.Linuxcurl使用代理:
linuxcurl使用http代理抓取頁(yè)面:
linuxcurl使用http代理抓取頁(yè)面:
curl-x111.95.243.36:80http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312curl-x111.95.243.36:80-Uaiezu:passwordhttp://www.baidu.com使用socks代理抓取頁(yè)面:
curl--socks4202.113.65.229:443http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
curl--socks5202.113.65.229:443http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
代理服務(wù)器地址可以從看爬蟲代理上獲取。
3.linuxcurl處理cookies
接收cookies:
curl-c/tmp/cookieshttp://www.baidu.com#cookies保存到/tmp/cookies文件
發(fā)送cookies:
curl-b"key1=val1;key2=val2;"http://www.baidu.com#發(fā)送cookies文本curl-b/tmp/cookieshttp://www.baidu.com#從文件中讀取cookies
4.linuxcurl發(fā)送數(shù)據(jù):
linuxcurlget方式提交數(shù)據(jù):
curl-G-d"name=value&name2=value2"http://www.baidu.com
linuxcurlpost方式提交數(shù)據(jù):
curl-d"name=value&name2=value2"http://www.baidu.com#post數(shù)據(jù)curl-da=b&c=d&txt@/tmp/txthttp://www.baidu.com#post文件以表單的方式上傳文件:
curl-Ffile=@/tmp/me.txthttp://tech.cxzzl.com.cn
相當(dāng)于設(shè)置form表單的method=”POST”和enctype=’multipart/form-data’兩個(gè)屬性。
5.linuxcurlhttpheader處理:
設(shè)置http請(qǐng)求頭信息:
curl-A"Mozilla/5.0Firefox/21.0"http://www.baidu.com#設(shè)置http請(qǐng)求頭User-Agent
curl-e"http://pachong.org/"http://www.baidu.com#設(shè)置http請(qǐng)求頭Referer
curl-H"Connection:keep-alive\n
User-Agent:
Mozilla/5.0"
http://tech.cxzzl.com.cn設(shè)置http響應(yīng)頭處理:
curl-Ihttp://tech.cxzzl.com.cn#僅僅返回header
curl-D/tmp/headerhttp://tech.cxzzl.com.cn#將httpheader保存到/tmp/header文件
6.linuxcurl認(rèn)證:
curl-uaiezu:passwordhttp://tech.cxzzl.com.cn#用戶名密碼認(rèn)證curl-Emycert.pemhttps://www.baidu.com#采用證書認(rèn)證
7、其它
curl-#http://www.baidu.com#以“#”號(hào)輸出進(jìn)度條
curl-o/tmp/aiezuhttp://www.baidu.com#保存http響應(yīng)到/tmp/cxzzl 創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)
總結(jié)
以上是生活随笔為你收集整理的Linuxcurl命令参数详解的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 第十六期:简单的介绍一下大数据中最重要的
- 下一篇: 56jsp登录案例