在網上看到有人利用python+beautifulsoup爬取豆瓣Top250

試著自己模仿這個做了個爬取IMDB的，

可惜只能爬取到11個。

后來檢查了超久，

才發現，

soup=BeautifulSoup(contents)這里，內容不完整，只能到11個電影為止。

代碼如下：

import urllib2 from bs4 import BeautifulSoup mylist=[]def crawl(url):headers={'User-Agent':'Mozilla/5.0(Windows;U;Windows NT 6.1;en-US;rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}req=urllib2.Request(url,headers=headers)page=urllib2.urlopen(req,timeout=200)contents=page.read()soup=BeautifulSoup(contents)for tag in soup.find_all('tr',class_={'odd','even'}):m_order=tag.find('td',class_='titleColumn').span.get_text()m_name=tag.find('td',class_='titleColumn').a.get_text()m_rating_score=float(tag.find('td',class_='ratingColumn imdbRating').strong.get_text())print("%s %s %s" % (m_order,m_name,m_rating_score))mylist.append((m_order,m_name,m_rating_score))crawl('http://www.imdb.com/chart/top?ref_=nv_ch_250_4')

后來，好像需使用正則表達式，把爬取來的網頁進行處理后才好弄。

但是正則表達式未操作過，

如果有人看到，想問下是否可以不通過正則表達式來解決這個問題呢？

轉載于:https://www.cnblogs.com/jawiezhu/p/4251265.html

總結

以上是生活随笔為你收集整理的爬取IMDBTOP250的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。