當排隊等待人數過多的時候，我們需要設置一個等待區防止秩序混亂，同時再有新來的想要排隊也可以呆在這個地方。那么在python分布式爬蟲中，消息隊列就相當于這樣的一個區域，爬蟲要進入這個區域找尋自己想要的資源，當然這個是一定的次序的，不然數據獲取就會出現重復。就下來我們就python分布式爬蟲中的消息隊列進行詳細解釋，小伙伴們可以進一步了解一下。

實現分布式爬取的關鍵是消息隊列，這個問題以消費端為視角更容易理解。你的爬蟲程序部署到很多臺機器上，那么他們怎么知道自己要爬什么呢？總要有一個地方存儲了他們需要爬取的url吧，這樣他們才能工作。

假設有1萬個url需要爬取，而你有100個爬蟲程序部署在10臺機器上，每臺10個爬蟲程序在運行，一個url被分給爬蟲程序后，其他爬蟲不能再獲得這個url，不然，就重復爬取了，理解吧，分布式爬蟲的關鍵是怎么把任務分給這些爬蟲。

有些促銷活動的現場會進行抽獎活動，工作人員捧著一個透明的箱子，參與活動的人從箱子的小口處把手伸進去隨機拿出一張折疊的紙條，這種模式與消息隊列十分相似。消息隊列就好比這個抽獎的箱子，消費端的爬蟲程序就好比參與活動的顧客，爬蟲從消息隊列里拿出一個url任務，然后進行爬取，不同于抽獎活動時一個人只能拿一次，分布式爬蟲允許爬蟲在結束一個爬蟲任務后繼續從消息隊列里獲取任務。

使用redis的隊列做消息隊列

如果你只是簡單的寫一個分布式爬蟲，那么使用redis的隊列就可以了，它完全可以作為消息隊列來使用，下面的代碼是生產端的代碼示例import?redis

r?=?redis.Redis(host='127.0.0.1',?port=6379,

password='yourpassword',?db=1)

#?生產10個url任務

for?i?in?range(10):

r.lpush('url_queue',?i)

相信看完以上的代碼示例后，小伙伴們已經學會用redis創造一個消息隊列，用來方便爬蟲的獲取數據。本篇是以生產段的角度寫的代碼，下篇小編會為大家帶來消費端的程序代碼，大家不要錯過~更多Python學習指路:PyThon學習網教學中心。

總結

以上是生活随笔為你收集整理的python队列来做什么_python分布式爬虫中的消息队列是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。