前言

本文的文字及圖片來(lái)源于網(wǎng)絡(luò),僅供學(xué)習(xí)、交流使用,不具有任何商業(yè)用途,如有問(wèn)題請(qǐng)及時(shí)聯(lián)系我們以作處理。

還記得童年的網(wǎng)頁(yè)小游戲嗎？今天帶大家爬取4399小游戲網(wǎng)站的數(shù)據(jù)，游戲名字+鏈接地址

目標(biāo)網(wǎng)站

http://www.4399.com/

基本環(huán)境配置

• python 3.6
• pycharm
• requests
• parsel
• csv

爬蟲(chóng)代碼

導(dǎo)入需要用到的工具

1import requests 2import parsel 3import csv

請(qǐng)求網(wǎng)頁(yè)

1 url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page) 2 headers = { 3 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' 4 } 5 response = requests.get(url=url, headers=headers) 6 response.encoding = response.apparent_encoding

解析網(wǎng)頁(yè)，爬取數(shù)據(jù)

1 for li in lis: 2 dit ={} 3 data_url = li.css('a::attr(href)').get() 4 new_url = 'http://www.4399.com' + data_url.replace('http://', '/') 5 dit['游戲地址'] = new_url 6 title = li.css('img::attr(alt)').get() 7 dit['游戲名字'] = title 8 print(new_url, title)

保存數(shù)據(jù)

1f = open('4399游戲.csv', mode='a', encoding='utf-8-sig', newline='') 2 3csv_writer = csv.DictWriter(f, fieldnames=['游戲地址', '游戲名字']) 4csv_writer.writeheader() 5f.close()

運(yùn)行代碼，效果如下圖

每秒200條數(shù)據(jù)，超快的爬取速度

總結(jié)

以上是生活随笔為你收集整理的怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。