大众点评 与 美团 与饿了么
生活随笔
收集整理的這篇文章主要介紹了
大众点评 与 美团 与饿了么
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
好久沒有寫博客了~~ 自從換了工作就一直忙 一直忙~~ 現在騰出點時間,記錄一下最近遇到的一些問題
?
最近主要寫了 大眾點評 美團 和餓了么的一些東西 ,這里不糾結具體細節,只說一下遇到的各種坑
1.大眾點評: 在3個中 我覺得難度最低吧,最坑的一點是ip驗證,一個ip只有通過了驗證碼 才能訪問一些東西,但是這個可以通過其它接口繞過?,然后不用登陸賬號 通過h5 / 小程序 接口,能獲取到幾乎所有想要的信息
2.美團: 美團算是難度第二的, 最坑的反爬技術 店鋪id 每天都在改變~~~,使用老id 只能訪問foods 頁面,請求不了 評論頁面,但是可以通過一些接口,得到最新的店鋪id ,同樣 美團不需要登陸
3.餓了么:餓了么是這3個中最坑的!!! 店鋪id每天都改變,大部分通過h5/小程序得到的店鋪id 在第3天就不能訪問了,這里的不能訪問,直接報沒有該店鋪,還有 ,必須登陸才能獲取到信息,還有一個 在訪問店鋪的一些信息時,一個賬號美團無滑動驗證碼訪問5次,滑動了驗證碼以后能訪問5次,然后改賬號短時間內被ban~~~~
?
然后總結下 這3個網站 都不需要研究js,都是在服務器端做了各種限制,想要爬取 需要ip ,如果只是獲取一邊數據還好,如果需要維護數據,對于餓了么就只能每天都更新店鋪id~!!!!!
總結
以上是生活随笔為你收集整理的大众点评 与 美团 与饿了么的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Moodle介绍篇
- 下一篇: moodle基本配置