爬取饿了么商铺信息
分析:
當我們訪問https://www.ele.me/home/時,看看我們得到了什么
1.png我們發現所有的城市名稱和他的經緯度,還有一個風流的男子
然后隨機輸入一些東西看看,進入某個地區看一看
在新的界面里我們看到了這樣一條url:
https://mainsite-restapi.ele.me/shopping/restaurants?extras%5B%5D=activities&geohash=wwwmd9jmc43&latitude=37.53579&limit=24&longitude=121.40618&offset=0&terminal=web
其中wwwmd9jmc43是用geohash算法通過經緯度計算出來的值,latitude=37.53579和longitude=121.40618是經緯度,在首頁的json文件中可以獲取到,offset=0代表從0開始,頁面顯示24家商鋪信息,由此構建url
通過這條url我們可以獲得店鋪名稱,店鋪地址和店鋪電話等信息
2.pnggeohash算法的python版
而最后我們所需要做的只不過就是一個循環而已
7w多商家作為一個小白,通過這個爬蟲,感受到了爬蟲的樂趣,又學到了很多系統性學習中學不到的技術點,豈不美哉
作者:浠嘻
鏈接:https://www.jianshu.com/p/cb69cf0ed04a
來源:簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。 與50位技術專家面對面20年技術見證,附贈技術全景圖
總結
- 上一篇: 汽车之家店铺数据抓取 DotnetSpi
- 下一篇: JSONPATH使用方法