相較于爬蟲技術(shù)，反爬蟲實(shí)際上更復(fù)雜。目前許多互聯(lián)網(wǎng)企業(yè)都會(huì)花大力氣進(jìn)行“反爬蟲”，網(wǎng)絡(luò)爬蟲不但會(huì)占據(jù)過多的網(wǎng)站流量，導(dǎo)致有真正需求的用戶沒法進(jìn)入網(wǎng)站，另外也有可能會(huì)導(dǎo)致網(wǎng)站關(guān)鍵數(shù)據(jù)的外泄等現(xiàn)象。網(wǎng)絡(luò)爬蟲遍布互聯(lián)網(wǎng)的各個(gè)角落，因此網(wǎng)絡(luò)爬蟲有好處也有壞處，接下來介紹一下和網(wǎng)絡(luò)爬蟲一同誕生的反爬蟲技術(shù)，如何才能防止別人爬取自己的網(wǎng)站？
1、基于程序本身去防止爬取：作為爬蟲程序，爬取行為是對(duì)頁面的源文件爬取，如爬取靜態(tài)頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對(duì)程序員的要求很高。
2、基于iptables和shell腳本：可以對(duì)nginx的access.log進(jìn)行策略定義，例如定義在1分鐘內(nèi)并發(fā)連接數(shù)超過30個(gè)ip為非法，如ip不在白名單內(nèi)，則加入iptables策略封掉，當(dāng)然這種的缺點(diǎn)是會(huì)有“誤傷”，策略細(xì)粒度越小就會(huì)有更多的“誤傷”，細(xì)粒度大就會(huì)使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對(duì)一些有危害的操作記錄或是封ip。但是對(duì)于某個(gè)特定的爬蟲地址（例如網(wǎng)易、有道）的爬取行為拒絕也很難準(zhǔn)確做到，因?yàn)槟銦o法準(zhǔn)確知道這些特定的爬蟲ip地址。注意：建議不要用封ip條目的方式,iptables列表長度是65535時(shí)就會(huì)封滿，服務(wù)器也就會(huì)死機(jī)。
3.使用robots.txt文件：例如阻止所有的爬蟲爬取，但是這種效果不是很明顯。
User-agent: *
Disallow: /
4.使用nginx的自帶功能：通過對(duì)httpuseragent阻塞來實(shí)現(xiàn)，包括GET/POST方式的請(qǐng)求，以nginx為例，具體步驟如下：
編輯nginx.conf
拒絕以wget方式的httpuseragent，增加如下內(nèi)容

Block http user agent - wget

if ($http_user_agent ~* (Wget) ) {
return 403;
}

Block Software download user agents

if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑啟動(dòng)

/usr/local/nginx/sbin/nginx -s reload

如何拒絕多種httpuseragent，內(nèi)容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小寫敏感匹配

大小寫敏感http user agent拒絕###

if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}

大小寫不敏感http user agent拒絕###

if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意語法：_{*表示是大小寫不敏感，}表示是大小寫敏感
}

總結(jié)

以上是生活随笔為你收集整理的如何防止网站被爬虫爬取的几种办法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。