文章目錄

• 七、Python簡(jiǎn)單爬蟲(chóng)
• • 1.重要知識(shí)與技能
  • 2.使用re表達(dá)式抓取網(wǎng)頁(yè)文件
  • 3.使用requests抓取網(wǎng)頁(yè)
  • 4.使用re正則表達(dá)式提取數(shù)據(jù)
  • 5.使用xPath工具提取數(shù)據(jù)
  • 6.使用BeautifulSoup工具

七、Python簡(jiǎn)單爬蟲(chóng)

1.重要知識(shí)與技能

重要知識(shí)與技能:

使用HTML與CSS制作網(wǎng)頁(yè)文件

使用re正則表達(dá)式抓取網(wǎng)頁(yè)文件

使用requests獲取網(wǎng)站內(nèi)容

使用re正則表達(dá)式提取數(shù)據(jù)

使用xPath工具提取數(shù)據(jù)

使用BeautifulSoup工具

2.使用re表達(dá)式抓取網(wǎng)頁(yè)文件

import re myFile = open('Index.html','r',encoding='UTF-8') myContent = myFile.read() myFile.close() #myPatten = "<li>(.*)</li>" myPatten2 = "([a-zA-Z0-9_\.-]+@[a-zA-Z0-9_-]+(?:\.[a-zA-Z0-9_-]+)+)" mylist = re.findall(myPatten2,myContent) print(mylist)

3.使用requests抓取網(wǎng)頁(yè)

import requests myURL = 'https://www.3dmgame.com' myContent = requests.get(myURL).content.decode('UTF-8')

4.使用re正則表達(dá)式提取數(shù)據(jù)

def Get3DMNews_WithRE():'''得到3DM網(wǎng)站的新聞內(nèi)容:return: 獲取的新聞內(nèi)容'''import requestsimport remyURL = 'https://www.3dmgame.com'myContent = requests.get(myURL).content.decode('UTF-8')myPartten = '<a href="(.*)" target="_blank" >(.*)</a>\n <span>(.*)</span>'myList = re.findall(myPartten,myContent)for item in myList :myNews = {}myNews['title'] = item[0]myNews['herf'] = item[1]myNews['time'] = item[2]print(myNews)passpass

5.使用xPath工具提取數(shù)據(jù)

def Get3DMNews_WithXPATH():'''得到3DM網(wǎng)站的新聞內(nèi)容:return: 獲取的新聞內(nèi)容'''import requestsfrom lxml import htmlmyURL = 'https://www.3dmgame.com'myContent = requests.get(myURL).content.decode('UTF-8')etree = html.etreeeTreeHtml = etree.HTML(myContent)myList = eTreeHtml.xpath("//li")for item in myList :myNews = {}myNews['title'] = item.xpath('./a')[0].textmyNews['herf'] = item.xpath('./a/@href')[0]myNews['time'] = item.xpath('./span')[0].textprint(myNews)passpass

6.使用BeautifulSoup工具

def Get3DMNews_WithBeautifulSoup():'''得到3DM網(wǎng)站的新聞內(nèi)容:return: 獲取的新聞內(nèi)容'''import requestsfrom bs4 import BeautifulSoupmyURL = 'https://www.3dmgame.com'myContent = requests.get(myURL).content.decode('UTF-8')bsHtml = BeautifulSoup(myContent,'html5lib')myList = bsHtml.find_all('div')[10].find_all('div')[8].find_all('div')[91].find_all('li')for item in myList :myNews = {}myNews['title'] = item.find('a').get_text()myNews['herf'] = item.find('a').get('href')myNews['time'] = item.find('span').get_text()print(myNews)passpass

總結(jié)

以上是生活随笔為你收集整理的【Python】学习笔记总结7（简单爬虫）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。