新浪微博的數據可是非常有價值的，你可以拿來數據分析、拿來做網站、甚至是*。不過很多人由于技術限制，想要使用的時候只能使用復制粘貼這樣的笨方法。沒關系，現在就教大家如何批量爬取微博的數據，大大加快數據遷移速度！

我們使用到的是第三方作者開發的爬蟲庫weiboSpider（有工具當然要用工具啦）。這里默認大家已經裝好了Python，如果沒有的話可以看我們之前的文章：Python詳細安裝指南。

1. 下載項目

進入下方的網址，點擊Download ZIP下載項目文件

或者

你有git的話可以在cmd/terminal中輸入以下命令安裝?

git clone https://github.com/dataabc/weiboSpider.git

?2.安裝依賴

將該項目壓縮包解壓后，打開你的cmd/Termianl進入該項目目錄，輸入以下命令：

pip install -r requirements.txt

便會開始安裝項目依賴，等待其安裝完成即可。

3.設置cookie

打開weibospider文件夾下的weibospider.py文件，將"your cookie"替換成爬蟲微博的cookie，具體替換位置大約在weibospider.py文件的22行左右。cookie獲取方法：

3.1 登錄微博

3.2 按F12鍵或者右鍵頁面空白處—檢查，打開開發者工具

3.3 選擇network — 按F5刷新一下 — 選擇第一個文件 — 在右邊窗口找到cookie

然后替換大約在weibospider.py文件的22行左右的cookie，如圖所示：

替換前：

替換后：

4.設置要爬的用戶user_id

4.1 獲取user_id

點開你希望爬取的用戶主頁，然后查看此時的url：

你會發現有一串數字在鏈接中，這個就是我們要用到的userID, 復制即可。

4.2 設置要爬取的user_id

打開config.json文件，你會看到如下內容：

{

"user_id_list": ["1669879400"],

"filter": 1,

"since_date": "2018-01-01",

"write_mode": ["csv", "txt"],

"pic_download": 1,

"video_download": 1,

"cookie": "your cookie",

"mysql_config": {

"host": "localhost",

"port": 3306,

"user": "root",

"password": "123456",

"charset": "utf8mb4"

}

}

下面講解每個參數的含義與設置方法。

設置user_id_list: user_id_list是我們要爬取的微博的id，可以是一個，也可以是多個，例如："user_id_list": ["1223178222", "1669879400", "1729370543"],

上述代碼代表我們要連續爬取user_id分別為“1223178222”、 “1669879400”、 “1729370543”的三個用戶的微博。

user_id_list的值也可以是文件路徑，我們可以把要爬的所有微博用戶的user_id都寫到txt文件里，然后把文件的位置路徑賦值給user_id_list。

在txt文件中，每個user_id占一行，也可以在user_id后面加注釋（可選），如用戶昵稱等信息，user_id和注釋之間必需要有空格，文件名任意，類型為txt，位置位于本程序的同目錄下，文件內容示例如下：1223178222 胡歌

1669879400 迪麗熱巴

1729370543 郭碧婷

假如文件叫user_id_list.txt，則user_id_list設置代碼為："user_id_list": "user_id_list.txt",

如果有需要還可以設置Mysql數據庫和MongoDB數據庫寫入，如果不設置的話就默認寫入到txt和csv文件中。

5. 運行爬蟲

打開cmd/terminal 進入該項目目錄，輸入：

python weibospider.py

即可開始爬取數據了，怎么樣，是不是超級方便？而且你還可以自定義爬取的信息，比如微博的起始時間、是否寫入數據庫，甚至能在它代碼的基礎上增加新的功能！（比如加個cookie池或者代理池之類的）

我們的文章到此就結束啦，如果你希望我們今天的Python 教程，請持續關注我們，如果對你有幫助，麻煩在下面點一個贊/在看哦

有任何問題都可以在下方留言區留言，我們都會耐心解答的！

?Python實用寶典 (pythondict.com)

不只是一個寶典

歡迎關注公眾號：Python實用寶典

原文來自Python實用寶典：Python 爬取新浪微博

總結

以上是生活随笔為你收集整理的python爬去新浪微博_Python 超简单爬取新浪微博数据 (高级版)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。