我們在優化網站時，有很多設置是不利于蜘蛛抓取的，具體有哪些呢?

建設網站地圖

網站地圖就像一個指向標，唯有清晰明了的指向標，才能指引蜘蛛抓取的路線。如果網站地圖清晰明了，蜘蛛很樂意在網站進行爬行。但是如果網站內部鏈接一團亂，蜘蛛進來后經常迷路，那么下次蜘蛛很少過來，對網站的抓取很不利。

登錄設置

有些網站會設置注冊賬號的服務，登錄之后才能看到網站的內容，這種設置對于蜘蛛來說不友好，蜘蛛它也不會注冊登錄，自然就抓取不到了。

動態URL

所謂動態URL就是在鏈接中“?”同時以aspx、asp、jsp、perl、php、cgi為后綴的url，便是動態URL，動態URL的變動性較大，不如靜態URL穩定，搜索引擎一般對動態URL不夠信任，從而使很多動態URL的網頁不能被收錄。

網站的結構

一個網站的結構不僅影響著用戶的體驗度，對整個網站的優化也是有著至關重要的作用，而符合百度蜘蛛抓取的網站首先要簡單明了，層次分明，這樣會大大的提升網站對蜘蛛的可讀性。

網站的外部鏈接

要被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛根本沒有機會知道頁面的存在。外部鏈接的添加一定要謹慎，不能為了外鏈的數量而忽略質量。不好的外鏈，還會連累自身網站的抓取，因此網站進行外部鏈接時，一定要定時對外部鏈接進行檢查和更新。

網站跳轉

有些網站打開之后就會自動跳轉到其他的頁面，跳轉會增加網站加載的時間，不推薦大家這樣做，只做301跳轉就可以了，301跳轉可以進行權重的集中，其他類型的調整不建議做。

總結

以上是生活随笔為你收集整理的php抓取aspx_哪些因素会影响蜘蛛抓取页面？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。