代碼筆記，僅供參考

---

利用python爬取安徽省高校名單

因?yàn)楣ぷ餍枰?#xff0c;所以我爬取了安徽省高校的名單，并將其保存在csv文件中：

# -*- coding: utf-8 -*-# -*- coding: utf-8 -*-import requests from lxml import etree from fake_useragent import UserAgent import time import csvclass SchoolSpider:def __init__(self):self.url = 'http://www.gx211.com/gxmd/gx-ah.html'def get_ua(self):return UserAgent().randomdef get_page(self):headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0)'}res = requests.get(self.url, headers = headers)html = res.content.decode('utf-8')print('url:', res.url)print('code:', res.status_code)#print(html)self.get_school_list(html)def get_school_list(self, html):html_parse = etree.HTML(html)xpath = '//table//td[@class="td1"]/a/text()'s_list = html_parse.xpath(xpath)#print(s_list)self.write_ip(s_list)def write_ip(self, school_list):with open('./output/my_school_name.csv', 'w', newline = '', encoding = 'utf-8') as f:writer = csv.writer(f)writer.writerow(['school'])for item in school_list:writer.writerow([item])def main(self):self.get_page()if __name__ == '__main__':start = time.time()spider = SchoolSpider()spider.main()end = time.time()print('執(zhí)行時(shí)間:%.2f' % (end-start))

部分結(jié)果：

school 安徽大學(xué) 中國(guó)科學(xué)技術(shù)大學(xué) 合肥工業(yè)大學(xué) 安徽工業(yè)大學(xué) 安徽理工大學(xué) 安徽工程大學(xué) 安徽農(nóng)業(yè)大學(xué) 安徽醫(yī)科大學(xué) 蚌埠醫(yī)學(xué)院 皖南醫(yī)學(xué)院 安徽中醫(yī)藥大學(xué) 安徽師范大學(xué) 阜陽(yáng)師范大學(xué) 安慶師范大學(xué)

總結(jié)

以上是生活随笔為你收集整理的今日代码(20201003)--简单爬虫的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。