php抓取神马搜索结果,php判断神马搜索引擎蜘蛛蜘蛛的方法
今天無事查看了一下網(wǎng)站的訪問日志,發(fā)現(xiàn)日志中有不少神馬搜索引擎的來訪記錄。就寫了一段php代碼,用來統(tǒng)計一下神馬搜索訪問的數(shù)據(jù),以便做出合理的優(yōu)化方案。
神馬搜索來源記錄以及User Agent42.156.137.14 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
106.11.156.57 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.33 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.44 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
106.11.153.124 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
php判斷搜索引擎是否為神馬搜索
通過上面的三條 User Agent 信息,可以發(fā)現(xiàn)它們都有一個共同的 YisouSpider 字段,也就是說 User Agent 中含有 YisouSpider 字段的來訪者即為神馬搜索引擎的蜘蛛。
php代碼
函數(shù)調(diào)用:
神馬搜索引擎蜘蛛IP地址
以下為神馬搜索引擎蜘蛛的來訪IP地址,
42.156.136.0/24:表示IP段,42.156.136.1 到 42.156.136.254
42.156.136.0/24
42.156.137.0/24
42.156.138.0/24
42.156.139.0/24
42.120.160.0/24
42.120.161.0/24
42.156.254.0/24
42.120.234.0/24
42.120.235.0/24
42.120.236.0/24
106.11.152.0/24
106.11.153.0/24
106.11.154.0/24
106.11.155.0/24
106.11.156.0/24
106.11.157.0/24
106.11.158.0/24
106.11.159.0/24
總結
以上是生活随笔為你收集整理的php抓取神马搜索结果,php判断神马搜索引擎蜘蛛蜘蛛的方法的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MySQL 8.0.20 zip 免安装
- 下一篇: android 刷机原理,分区。