我們的目標是用爬蟲來干一件略污事情

最近聽說煎蛋上有好多可愛的妹子，而且爬蟲從妹子圖抓起練手最好，畢竟動力大嘛。而且現在網絡上的妹子很黃很暴力，一下接受太多容易營養不量，但是本著有人身體就比較好的套路，特意分享下用點簡單的技術去獲取資源。

以后如果有機會，再給大家說說日本愛情動（大）作（霧）片的種子搜索爬取，多多關注。

請先準備

作案工具

我們只準備最簡單的

? ? ? ? ??python 2.7.11

? ? ? ? ?Google Chrome

? ? ? ? ?安裝的時候記得把pip帶上，這樣可以方便我們安裝一些好用的包，來方便我們干壞事(學習)的過程。

需要用到的包

? ? ? ? 包括更佳符合人類的HTTP庫–requests

? ? ? ? 用來解析html文件，快速提取我們需要的內容–beautifulsoup4

也可以用下面的命令快速安裝

? ? ? ? ?pip install requests

? ? ? ? ?pip install beautifulsoup4

干正事

從一次正常需求說起

每天在互聯網上沖來沖去，瀏覽著大量的信息，觀看這各種鼻血噴發的圖片，于是作為新時代青年的我們，怎么能忍受被這些大量的垃圾信息充斥的互聯網，我們要反抗，我們要下載！

請，看，下，圖

↓

當你在網上沖浪的時候遇到這樣的圖片，我就問你：

虐不虐？虐死了！

下不下？下！

開始吧

獲取圖片的CSS選擇器的規則

首先，我們需要定位我們需要的圖片

根據我們之前的準備的作案工具，使用chrome來訪問網頁http://jandan.net/ooxx

然后打開開發者工具菜單?->?更多工具?->?開發者工具

看下圖右邊的神器

點擊這個圖標會出現塊選擇器，

鼠標移動我們感興趣的部分

按照圖片指示點擊區域

右邊神器中就會出現我們所需要的img標簽

查看之前最后一個以#comments開頭的標簽，?

它包含了所有img的子標簽。

下面讓我們來一些

神秘的事

打開cmd或者終端

輸入python

輸入以下神秘代碼

import requests from bs4 import BeautifulSoupres = requests.get('http://jandan.net/ooxx') html = BeautifulSoup(res.text) for index, each in enumerate(html.select('#comments img')):with open('{}.jpg'.format(index), 'wb') as jpg:jpg.write(requests.get(each.attrs['src'], stream=True).content)

現在偷偷看一下你的當前目錄

是不是有很多（污）的圖片

咳咳是這樣的

↓

名詞解釋

網絡爬蟲

網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

爬蟲的使用對很多工作都是很有用的，但是對一般的社區，也需要付出代價。使用爬蟲的代價包括：

網絡資源：在很長一段時間，爬蟲使用相當的帶寬高度并行地工作。

服務器超載：尤其是對給定服務器的訪問過高時。

質量糟糕的爬蟲，可能導致服務器或者路由器癱瘓，或者會嘗試下載自己無法處理的頁面。

個人爬蟲，如果過多的人使用，可能導致網絡或者服務器阻塞。

適用場景

1?為您的應用系統等檢測“機器人”數據流量
2?為您的業務系統提供惡意IP、手機號碼數據，為惡意注冊、登錄、交易、刷單、黃牛等場景提供數據支持
3?為企業內部風控部門提供多緯度、分場景、更及時、全局聯防的底層數據支撐
4?對惡意爬蟲（爬取企業核心數據等）多緯度數據支撐
5?其他……

是不是還不夠

行蹤不定的下期預告

看著上面規整的排版——前后有序、圖文并茂，不就是練手爬蟲技術最好的機會嗎?今天就到這里了，讀取下一頁什么的就靠你自己探索，我將會在下個系列給你一個參考方法，希望你持續關注。?

from: http://www.freebuf.com/news/others/102315.html

總結

以上是生活随笔為你收集整理的手把手教你用Python爬虫煎蛋妹纸海量图片的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。