163music 反爬分析
生活随笔
收集整理的這篇文章主要介紹了
163music 反爬分析
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
# 網易163 音樂的 mp3下載
view-source:https://music.163.com/#/playlist?id=924680166 這個是網頁源代碼 鏈接, 中間的#拿不到具體的數據,所以獲取頁面的時候,要去除#
http://music.163.com/song/media/outer/url?id=374621.mp3 下載的一個API吧
封 IP 的一種報錯
網易云就給我返回了一個{"code":-460,"msg":"Cheating"} 考慮IP代理
1.通過網頁的請求頭
User-Agent: 這個是保存用戶訪問該網站的瀏覽器的信息,我上面這個表示的是我通過window的瀏覽器來訪問這個網站的,如果你是用python來直接請求這個網站的時候,這個的信息會帶有
python的字眼,所以網站管理員可以通過這個來進行反爬蟲。
Referer: 當瀏覽器發送請求時,一般都會帶上這個,這個可以讓網站管理者知道我是通過哪個鏈接訪問到這個網站的,上面就說明我是從網易云音樂的主頁來訪問到這個頁面的,若你是用
python來直接請求是,就沒有訪問來源,那么管理者就輕而易舉地判斷你是機器在操作。
authorization: 有的網站還會有這個請求頭,這個是在用戶在訪問該網站的時候就會分配一個id給用戶,然后在后臺驗證該id有沒有訪問權限從而來進行發爬蟲
2 使用代理ip
總結
以上是生活随笔為你收集整理的163music 反爬分析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 英语阅读计算机病毒是指,2016年职称计
- 下一篇: 打字机已经被计算机所取代用英语,无法被电