利用python下载网页到本地(python3)
生活随笔
收集整理的這篇文章主要介紹了
利用python下载网页到本地(python3)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
這個功能需要用到urlretrieve,這個函數在urllib.request包里面。如果有同學用的是python2,那么這個函數就在urllib里面。
關于urlretrieve這個函數的用法,http://www.nowamagic.net/academy/detail/1302861中給出了很好的說明,大家有興趣可以看一看。
我的是另一個例子,出自《python核心編程》一書,原書是基于python2的版本
下載一個網頁,然后顯示第一和最后一非空行,代碼如下
from urllib.request import urlretrievedef firstNonBlank(lines):for eachLine in lines:if not eachLine.strip():continueelse:return eachLinedef firstLast(webpage):f = open(webpage, 'r')lines = f.readlines()f.close()print(firstNonBlank(lines))lines.reverse()print(firstNonBlank(lines))def download(url="http://info.tsinghua.edu.cn", process=firstLast):try:retval = urlretrieve(url)[0]except IOError:retval = Noneif retval:print(retval)process(retval)if __name__ == '__main__':download()總結
以上是生活随笔為你收集整理的利用python下载网页到本地(python3)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Centos下本地连接postgresq
- 下一篇: 在Matlab符号计算中灵活运用assu