如果是正常的搜索引擎蜘蛛訪問，不建議對蜘蛛進(jìn)行禁止，否則網(wǎng)站在百度等搜索引擎中的收錄和排名將會丟失，造成客戶流失等損失。

Linux下規(guī)則文件.htaccess(手工創(chuàng)建.htaccess文件到站點(diǎn)根目錄)

RewriteEngine?On

#Block?spider

RewriteCond?%{HTTP_USER_AGENT}?"SemrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu"?[NC]

RewriteRule?!(^robots\.txt$)?-?[F]

Windows2008、2012或更高系統(tǒng)下規(guī)則文件web.config?(手工創(chuàng)建web.config文件到站點(diǎn)根目錄)<?xml ?version="1.0"?encoding="UTF-8"?>

注：“{HTTP_USER_AGENT}”所在行中是不明蜘蛛名稱，根據(jù)需要添加以"|"為分割。規(guī)則中默認(rèn)屏蔽部分不明蜘蛛，要屏蔽其他蜘蛛按規(guī)則添加即可,附各大蜘蛛名字：

google蜘蛛：googlebot

百度蜘蛛：baiduspider

百度手機(jī)蜘蛛：baiduboxapp

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛：msnbot

bing蜘蛛：bingbot

altavista蜘蛛：scooter

lycos蜘蛛：lycos_spider_(t-rex)

alltheweb蜘蛛：fast-webcrawler

inktomi蜘蛛：slurp

有道蜘蛛：YodaoBot和OutfoxBot

熱土蜘蛛：Adminrtspider

搜狗蜘蛛：sogou spider

SOSO蜘蛛：sosospider

360搜蜘蛛：360spider

總結(jié)

以上是生活随笔為你收集整理的iis下屏蔽php notice,apache、iis规则屏蔽拦截蜘蛛抓取的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。