通過HTMLPaser和urlib模塊對網頁進行抓取并分析

實現步驟：

1、自定義MYHTMLParser類

2、實例化類并訪問天氣預報官網

3、抓取關鍵數據

4、對數據進行切片處理并輸出字典

from html.parser import HTMLPaser? ?#處理頁面模塊

from urllib import request? #訪問網站模塊

L = []? #定義列表接受抓取的信息

class MYHTMLPaser(HTMLParser):? #自定義MYHTMLParser類重寫方法

#定義三個函數

#handle_starttag:處理開始標簽? attrs:標簽屬性 tag:標簽

a_t = False #定義a_t變量為提出標簽內容時的判斷做準備

def handle_starttag(self,tag,attrs):

if tag == "h1" and len(attrs) == 0:? #找出不帶屬性的h1標簽

self.a_t = True

else? tag == "p" and len(attrs) > 1: #找出屬性大于1的p標簽

self.a_t = True

#handle_data:處理標簽內容 data:標簽內容

def handle_data(self,data):

if self.a_t ==True:? #取出h1標簽p標簽的內容并添加到L列表中

L.append(data)

#handle_endtag:處理結束標簽

def handle_endtag(self,tag):

self.a_t = False #一個標簽讀取完成后恢復a_t變量為下一個標簽的讀取判斷做準備

#自定義類實例化

p = MYHTMLParser()

#訪問天氣預報官網

with request.urlopen("http://www.weather.com.cn/weather/101010100.shtml") as f:

data? = f.read().decode('utf-8')? ?#讀取網頁數據

#解析網頁信息查找未來七天的天氣情況并輸出到列表中

p.feed(str(data))

p.close() #關閉資源

#對列表進行操作輸出字典

L1 = list(list(L)[2:-6])[1:][::2]

L2 = list(list(L)[2:-6])[::2]

weather = dict(zip(L2,L1))

#輸出天氣

print(weather)

輸出結果如下圖：

源碼如下：

# 本模塊對一周天氣情況進行爬蟲

fromhtml.parserimportHTMLParser

fromurllibimportrequest

importre

# 自定義MYHTMLParser類

L = []

classMYHTMLParser(HTMLParser):

a_t =False

def handle_starttag(self,tag,attrs):

if tag =="h1"andlen(attrs) ==0:

self.a_t =True

elif tag =="p"andlen(attrs) >1:

self.a_t =True

def handle_data(self,data):

ifself.a_t ==True:

L.append(data)

def? handle_endtag(self,tag):

self.a_t =False

# 自自定義類實例化

p = MYHTMLParser()

# 訪問天氣預報官網

withrequest.urlopen("http://www.weather.com.cn/weather/101010100.shtml")asf:

data = f.read().decode('utf-8')

# 解析網頁輸出關鍵信息

p.feed(str(data))

p.close()

# 轉成字典

L1 =list(list(L)[2:-6])[1:][::2]

L2 =list(list(L)[2:-6])[::2]

weather =dict(zip(L2,L1))

print(weather)

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的python天气预报官网_python 实现对天气预报官网未来一周七天的天气情况抓取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。