Python 環境下文件的讀取問題，請參見拙文 Python基礎之文件讀取的講解

這是一道著名的 Python 面試題，考察的問題是，Python 讀取大文件和一般規模的文件時的區別，也即哪些接口不適合讀取大文件。

1. read() 接口的問題

f = open(filename, 'rb')

f.read()

我們來讀取 1 個 nginx 的日至文件，規模為 3Gb 大小。read() 方法執行的操作，是一次性全部讀入內存，顯然會造成：

MemoryError

...

也即會發生內存溢出。

2. 解決方案：轉換接口

(1)readlines() ：讀取全部的行，構成一個 list，實踐表明還是會造成內存的問題；

for line in f.reanlines():

...

(2)readline()：每次讀取一行，

while True:

line = f.readline()

if not line:

break

(3)read(1024)：重載，指定每次讀取的長度

while True:

block = f.read(1024)

if not block:

break

3. 真正 Pythonic 的方法

真正 Pythonci 的方法，使用 with 結構：

with open(filename, 'rb') as f:

for line in f:

對可迭代對象 f，進行迭代遍歷：for line in f，會自動地使用緩沖IO(buffered IO)以及內存管理，而不必擔心任何大文件的問題。

There should be one – and preferably only one – obvious way to do it.

Reference

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對找一找教程網的支持。如果你想了解更多相關內容請查看下面相關鏈接

總結

以上是生活随笔為你收集整理的python读取大文件性能_强悍的Python读取大文件的解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。