亞馬遜爬蟲經驗總結：

1亞馬遜對于國外的IP友好，對于國內IP不友好。
小規模采集可以使用香港VPN或者美國IP直接通過 request請求即可。robot幾率大概是15%
但是如果你使用國內IP robot幾率就有90%

驗證碼識別如何搞定移步
如何打造自己的打碼系統-驗證碼識別系統 【上】(亞馬孫amazon驗證碼識別為例)

如果你是大規模的用戶這樣
要求：
1性能要求每分鐘采集目標地址1000個url 每天千萬級的url抓取。不能使用國外代理。因為國外IP代理巨貴
2自動解鎖IP
3通過爬蟲框架scrapyd html界面解析。數據入庫
4附帶要求，對于關鍵詞搜索頁面需求保存oss鏡像，以便回溯查看。
5最終時間控制在2小時內
6成本控制 關鍵詞搜索 成本1-2厘。評論頁面0.5厘

解決方案：
1采用自建驗證碼識別系統，減少識別費用產生成本
2采用chrome 動態采集+request 采集同時進行。chrome +webdriver 用于識別和解鎖ip
具體執行代碼如下

is_robot = "/errors/validateCaptcha" in response.text if (is_robot):# 機器人驗證彈出 則標記被鎖# logger.info(response.url + "mmmm"+proxy_about+'+++++++++'+"#機器人驗證彈出================================")print(response.url + "mmmm" + proxy_about + '+++++++++' + "#機器人驗證彈出================================")#讀取驗證碼圖片地址'div.a-text-center img'#執行IP解鎖solution = get_amazon_code(code_img) def get_amazon_code(img_url):import base64url="http://xxxxxx:88/api/get/amazoncode?img_link=" #免費驗證碼是唄訪問 www.886it.cnstr = img_url.encode()# 對字符串進行編碼bs4str = base64.b64encode(str)c=bytes.decode(bs4str)url=url+ccode_json=get_task(url, payload={}, headers={})print(code_json.text)json1 = json.loads(code_json.text)return json1['code']

3這樣就能實現數據的高效采集，一邊解鎖IP，一邊上鎖IP
如果你覺得這一切太麻煩，可以直接使用我們開發現成api
我們擁有地表最強的亞馬遜高性能爬蟲，不受IP限制。不受流量限制
聯系作者
（未完待續。。。。。。。。。。。。。。。）

總結

以上是生活随笔為你收集整理的【地表最强】亚马逊Amazon高性能爬虫的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。