url获取网站信息不包含网页源文件内的标签_前嗅ForeSpider链接抽取应用场景及链接在源码的html标签里写脚本...
生活随笔
收集整理的這篇文章主要介紹了
url获取网站信息不包含网页源文件内的标签_前嗅ForeSpider链接抽取应用场景及链接在源码的html标签里写脚本...
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
今天,小編給大家帶來的教程為:前嗅ForeSpider腳本教程中,鏈接抽取的應用場景,以及鏈接在源碼的html標簽里寫腳本的實戰教程。具體內容如下:
一.應用場景
當需要手動添加鏈接時,可添加鏈接腳本。
在“鏈接腳本處”,可能用到的類為extractor 、result、url、grabDoc、dom。
二.鏈接在源碼的html標簽里
鏈接地址可在源碼中查找到。在目標網頁右鍵,選擇“查看源代碼”,鍵盤點擊“ctrl+F”,查找目標鏈接所在位置。目標鏈接存在于標簽中。
1.鏈接需要循環
場景:比如翻頁等規律相同的一系列目標鏈接,存在于一個大的ul標簽或者div標簽里。
示例:獲取CSDN首頁文章列表鏈接。
?
在該網頁右鍵選擇“查看源文件”,查找第一條鏈接的鏈接地址,定位目標數據位置。
?
將該源碼粘貼到notepad++中,選擇語言為html,搜索目標數據的所在位置“ul”標簽的id值。
?
由圖可知,列表頁文章鏈接位于每個li中的a標簽的href中。
腳本實例:暫無。
2.鏈接不循環
場景:獲取更多鏈接,鏈接不像翻頁那頁具有自增性的規律。
示例:獲取該網站更多的招標公告信息。
?
獲取更多的招標公告信息,需要點擊“更多”按鈕。在該網頁右鍵選擇“查看源文件”,定位鏈接所在位置。
?
因標簽名,和父級
的class屬性都在多處存在,因此需要再向上查找節點,直到id為tab2-list的。腳本實例:
???????var div = DOM.FindId("tab2-list");//先查找divvar a = DOM.FindClass("more
總結
以上是生活随笔為你收集整理的url获取网站信息不包含网页源文件内的标签_前嗅ForeSpider链接抽取应用场景及链接在源码的html标签里写脚本...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: r - 求平均成绩_EXCEL计算修剪平
- 下一篇: python数据框 命名_Python-