Python多篇新闻自动采集
昨天用python寫了一個(gè)天氣預(yù)報(bào)采集，今天趁著興頭寫個(gè)新聞采集的。
目標(biāo)是，將騰訊新聞主頁上所有新聞爬取下來，獲得每一篇新聞的名稱、時(shí)間、來源以及正文。
接下來分解目標(biāo)，一步一步地做。
?
步驟1：將主頁上所有鏈接爬取出來，寫到文件里。
根據(jù)上一篇文章的方法，可以簡單地獲取到整個(gè)主頁的文本內(nèi)容。
我們都知道html鏈接的標(biāo)簽是“a”，鏈接的屬性是“href”，也就是要獲得html中所有tag=a，attrs=href 值。
查閱了資料，一開始我打算用HTMLParser，而且也寫出來了。但是它有一個(gè)問題，就是遇到中文字符的時(shí)候無法處理。
1 class parser(HTMLParser.HTMLParser): 2 def handle_starttag(self, tag, attrs): 3 if tag == 'a': 4 for attr, value in attrs: 5 if attr == 'href': 6 print value后來使用了SGMLParser，它就沒有這個(gè)問題。
1 class URLParser(SGMLParser): 2 def reset(self): 3 SGMLParser.reset(self) 4 self.urls = [] 5 6 def start_a(self,attrs): 7 href = [v for k,v in attrs if k=='href'] 8 if href: 9 self.urls.extend(href)SGMLParser針對(duì)某個(gè)標(biāo)簽都需要重載它的函數(shù)，這里是把所有的鏈接放到該類的urls里。
1 lParser = URLParser()#分析器來的 2 socket = urllib.urlopen("http://news.qq.com/")#打開這個(gè)網(wǎng)頁 3 4 fout = file('urls.txt', 'w')#要把鏈接寫到這個(gè)文件里 5 lParser.feed(socket.read())#分析啦 6 7 reg = 'http://news.qq.com/a/.*'#這個(gè)是用來匹配符合條件的鏈接，使用正則表達(dá)式匹配 8 pattern = re.compile(reg) 9 10 for url in lParser.urls:#鏈接都存在urls里 11 if pattern.match(url): 12 fout.write(url+'\n') 13 14 fout.close()這樣子就把所有符合條件的鏈接都保存到urls.txt文件里了。
?
步驟2：對(duì)于每一個(gè)鏈接，獲取它的網(wǎng)頁內(nèi)容。
很簡單，只需要打開urls.txt文件，一行一行地讀出來就可以了。
也許這里會(huì)顯得多此一舉，但是基于我對(duì)解耦的強(qiáng)烈愿望，我還是果斷地寫到文件里了。后面如果采用面向?qū)ο缶幊?#xff0c;重構(gòu)起來是十分方便的。
獲取網(wǎng)頁內(nèi)容部分也是相對(duì)簡單的，但是需要把網(wǎng)頁的內(nèi)容都保存到一個(gè)文件夾里。
這里有幾個(gè)新的用法：
1 os.getcwd()#獲得當(dāng)前文件夾路徑 2 os.path.sep#當(dāng)前系統(tǒng)路徑分隔符（是這個(gè)叫法嗎？）windows下是“\”，linux下是“/” 3 4 #判斷文件夾是否存在，如果不存在則新建一個(gè)文件夾 5 if os.path.exists('newsdir') == False: 6 os.makedirs('newsdir') 7 8 #str()用來將某個(gè)數(shù)字轉(zhuǎn)為字符串 9 i = 5 10 str(i)有了這些方法，將字符串保存到某個(gè)文件夾下不同的文件就不再是一件困難的事了。
?
步驟3：枚舉每一個(gè)網(wǎng)頁，根據(jù)正則匹配獲得目標(biāo)數(shù)據(jù)。
下面的方法是用來遍歷文件夾的。
1 #這個(gè)是用來遍歷某個(gè)文件夾的 2 for parent, dirnames, filenames in os.walk(dir): 3 for dirname in dirnames 4 print parent, dirname 5 for filename in filenames: 6 print parent, filename遍歷，讀取，匹配，結(jié)果就出來了。
我使用的數(shù)據(jù)提取的正則表達(dá)式是這樣的：
reg = '<div class="hd">.*?<h1>(.*?)</h1>.*?<span class="pubTime">(.*?)</span>.*?<a .*?>(.*?)</a>.*?<div id="Cnt-Main-Article-QQ" .*?>(.*?)</div>'其實(shí)這個(gè)并不能匹配到騰訊網(wǎng)的所有新聞，因?yàn)樯厦娴男侣動(dòng)袃煞N格式，標(biāo)簽有一點(diǎn)差別，所以只能提取出一種。
另外一點(diǎn)就是通過正則表達(dá)式的提取肯定不是主流的提取方法，如果需要采集其他網(wǎng)站，就需要變更正則表達(dá)式，這可是一件比較麻煩的事情。
提取之后觀察可知，正文部分總是會(huì)參雜一些無關(guān)信息，比如“<script>...</script>”“<p></p>”等等。所以我再通過正則表達(dá)式將正文切片。
1 def func(str):#誰起的這個(gè)名字 2 strs = re.split("<style>.*?</style>|<script.*?>.*?</script>|&#[0-9]+;|<!--\[if !IE\]>.+?<!\[endif\]-->|<.*?>", str)#各種匹配，通過“|”分隔 3 ans = '' 4 #將切分的結(jié)果組合起來 5 for each in strs: 6 ans += each 7 return ans這樣騰訊網(wǎng)上面的正文基本全部能夠提取出來。
到此整個(gè)采集也就結(jié)束了。
展示一下我提取到的結(jié)果（不使用自動(dòng)換行，右邊隱藏了）：
注意：
1、打開某個(gè)網(wǎng)址的時(shí)候，如果網(wǎng)址是壞的（打不開），若不處理則會(huì)報(bào)錯(cuò)。我簡單地使用處理異常的方式，估計(jì)應(yīng)該有其他方式。
try:socket = urllib.urlopen(url) except:continue2、Python正則表達(dá)式中的“.”號(hào)，可以匹配任意字符，但是除了“\n”。
3、如何去除字符串末尾的“\n”？python的處理簡直優(yōu)雅到死啊！
1 if line[-1] == '\n': 2 line = line[0:-1]?
轉(zhuǎn)載于:https://www.cnblogs.com/coltfoal/archive/2012/10/07/2714468.html
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)總結(jié)
以上是生活随笔為你收集整理的Python多篇新闻自动采集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
