上半年在學bs4時的一個爬蟲,主要是針對table標簽的,可用于爬取其他類似網站,代碼比較好更改

# -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup import bs4def getHTMLText(url):try:r = requests.get(url, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""def fillUnivList(ulist, html):soup = BeautifulSoup(html, "html.parser")#soup.find('tbody').children是列表迭代類型,而如果是soup.find('tbody')則是標簽for tr in soup.find('tbody').children:if isinstance(tr, bs4.element.Tag):tds = tr('td')ulist.append([tds[0].string, tds[1].string, tds[3].string])print(ulist)def printUnivList(ulist, num): tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"print(tplt.format("排名","學校名稱","總分",chr(12288)))for i in range(num):u=ulist[i]print(tplt.format(u[0],u[1],u[2],chr(12288)))def main():uinfo = []url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'html = getHTMLText(url)fillUnivList(uinfo, html)printUnivList(uinfo, 20) # 20 univs main() 《新程序員》：云原生和全面數字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的爬取最好大学网站大学排名的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。