小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)
一、介紹西瓜皮
Scrapy(西瓜皮)是一個為了爬取網站數據、提取結構性數據而編寫的應用框架,可以應用在包括數據挖掘、信息處理或者存儲歷史數據等一系列的程序中。
二、注意事項
目前Scrapy不支持Python3,因此需要安裝Python2.7來使用Scrapy,Python2.7和3是可以共存的。
三、安裝Python2.7
下載網址:https://www.python.org/downloads/release/python-2715/
這里選擇windows 32位(32位可以兼容32位與64位系統,反之不行)
下載完成后,點擊安裝
怎樣查看是否安裝成功:
方式有很多,這里可以打開IDLE,輸入help()
安裝完成后到所有程序中找到python2.7下的IDLE,右鍵發送到桌面快捷方式(為了方便,不是必須)
找到python2.7的安裝目錄下的腳本文件:
點擊右鍵編輯,選擇2.7版本對應的IDLE,選擇上面的run module F5
完成設置環境變量
四、安裝pywin32(32位版本)
地址為:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/
是個exe文件,點擊安裝即可
五、安裝pip
地址:https://pip.pypa.io/en/stable/installing/
pip實際上是Python的一個安裝軟件的模塊
下載get-pip.py然后還是打開運行同上。
六、安裝lxml
雖然可以用pip安裝lxml,但如果是windows,建議不要,使用lxml專門為windows提供的安裝包
網址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
找到下面的lxml
選擇對應版本下載并安裝
七、使用pip安裝pyOpenSSL
在兩個Python版本并存的情況下,使用pip安裝時,命令為:py -2 -m install pyOpenSSL
如果提示你pip需要升級則執行:
注意:
這里pip安裝需要微軟的VS2008C語言編譯器,沒有安裝或者版本太高也是不行,也可以安裝微軟為Python準備的:
VCForPython27.msi
地址:
http://www.microsoft.com/en-us/download/details.aspx?id=44266
八、安裝Scrapy
雙版本并存下,使用:py -2 -m install Scrapy
驗證是否安裝成功
九、參考文檔
python 32位和64位的區別在哪:
https://blog.csdn.net/badao_liumang_qizhi/article/details/80977544
命令行下升級pip版本:
https://blog.csdn.net/badao_liumang_qizhi/article/details/80978172
使用pip來安裝pyOpenSSL:
https://blog.csdn.net/badao_liumang_qizhi/article/details/80978036
當同時安裝Python2和Python3后,如何兼容并切換使用詳解(比如pip使用):
https://blog.csdn.net/badao_liumang_qizhi/article/details/80979780
安裝Scrapy時:Microsoft Visual C++ 9.0 is required:
https://blog.csdn.net/badao_liumang_qizhi/article/details/80979789
Python兩個版本共存時,通過pip安裝Scrapy:
https://blog.csdn.net/badao_liumang_qizhi/article/details/80979880python 怎么驗證是否安裝成功 scrapy:
https://blog.csdn.net/badao_liumang_qizhi/article/details/80979894
十、資源合集
下載地址:
https://download.csdn.net/download/badao_liumang_qizhi/10531943
如果這篇文章幫助到了你,歡迎打賞鼓勵,您的鼓勵是我最大的動力!
總結
以上是生活随笔為你收集整理的小白教你一步一步安装Scrapy(西瓜皮)(带图带资源)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python 怎么验证是否安装成功 sc
- 下一篇: SpringBoot添加JSP支持