1.為什么有這個想法：
最近想看一部連載小說，奈何沒有現成資源，網頁一章一章看廣告又太煩，于是乎用python beautifulsoup4 代碼爬蟲爬取文章的想法就應運而生了
2.軟件環境：
python 3.7
Beautifulsoup 4.7.1
requests 2.21.0
pycharm 2018.3.2
3.思路分析
先抓取一篇文章的標題與正文內容，之后抓取目錄鏈接，在目錄的循環了執行每篇文章的抓取，最后將文章存成txt。
4.代碼：

import requests from bs4 import BeautifulSoup import os import timedef getcontent(url):html=requests.get(url)html.encoding='UTF-8'soup=BeautifulSoup(html.text,'html.parser')title=soup.select('.bookname h1')print(title[0].text)re1=title[0].textcontent=soup.select('#content')result=content[0].textprint(str(result).strip().replace(' ','\n'))re2=str(result).strip().replace(' ','\n')with open(os.path.join(os.getcwd(),'凡人修仙傳之仙界篇.txt'),'a+',encoding='utf-8') as f:f.write(re1+'\n'+re2+'\r\n')def getallurl():result=[]url='https://www.biquke.com/bq/0/990/'html=requests.get(url)html.encoding='utf-8'soup=BeautifulSoup(html.text,'html.parser')re=soup.select('#list a')for i in re:# print(i['href'])result.append(i['href'])return resultif __name__ == '__main__':# url='https://www.biquke.com/bq/0/990/4368042.html'# getcontent(url)# url='https://www.biquke.com/bq/0/990/4374212.html'# getcontent(url)# url='https://www.biquke.com/bq/0/990/4375800.html'# getcontent(url)allpageurl=getallurl()for i in allpageurl:url='https://www.biquke.com/bq/0/990/'+igetcontent(url)time.sleep(1)print('='*50)print('文章截取完畢')print('='*50)

5.效果截圖：


6.心得：
爬蟲越來越得心應手了，基礎是關鍵，從局部到整體，思路一定要清晰，先打印到控制臺，沒問題再存成本地文件。

總結

以上是生活随笔為你收集整理的python Beautifulsoup4爬取凡人修仙传仙界篇连载中文章并生成txt的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。