1.爬蟲介紹

　　編寫程序，根據(jù)URL獲取網(wǎng)站信息

2.用到的庫(kù)

　　requests庫(kù)

　　bs4庫(kù)

3.內(nèi)容及步驟

?

4.代碼

import requests import os from bs4 import BeautifulSoup # 1.下載頁(yè)面 ret = requests.get(url='https://www.autohome.com.cn/news/') ret.encoding = ret.apparent_encoding # print(ret.text) 爬取的內(nèi)容# 2.解析：獲取想要的指定內(nèi)容beautifulsoup soup = BeautifulSoup(ret.text, 'html.parser') # lxml div = soup.find(name='div', id='auto-channel-lazyload-article') li_list = div.find_all(name='li') # 更改下載地址 os.mkdir("圖片") os.chdir("圖片") for li in li_list:# 獲取新聞標(biāo)題h3 = li.find(name='h3')if not h3:continue# 獲取新聞內(nèi)容p = li.find(name='p')# 獲取鏈接地址a = li.find(name='a')# print(a.attrs)獲取屬性print(h3.text,a.get('href'),p.text)print('=' * 15)# 獲取圖片鏈接并下載img = li.find('img')src = img.get('src')# 根據(jù)__分割，得到列表file_nane = src.rsplit('__', maxsplit=1)[1]ret_img = requests.get(url='https:' + src)with open(file_nane, 'wb') as f:f.write(ret_img.content)

　　

find的擴(kuò)展：

　　可以用：

　　　　1.id，_class

　　　　2.attrs方式

轉(zhuǎn)載于:https://www.cnblogs.com/yhstcxx/p/10946511.html

總結(jié)

以上是生活随笔為你收集整理的老男孩爬虫实战密训课第一季，2018.6，初识爬虫训练-实战1-爬取汽车之家新闻数据...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。