背景準備試一試:f =開放(\u201C\/道路\/ \/文件\u201D,\u201Cr\u201D)打印()最后:如果f:()調用讀()將讀取所有文件的內容,如果文件有10 g,記憶會破滅,所以,為了安全起見,你可以反復調用read(大小)方法,每次最多讀字節大小。此外,調用readline()一次讀取一行,叫readline()閱讀所有的內容并返回列表逐行。因此,有必要來決定如何調用。如果文件很小,read()是最方便的一次性讀;如果你不能確定文件的大小,它是安全調用讀(大小)反復;如果它是一個配置文件,它是最方便的調用readline():在():線過程(線)#塊讀取和處理大型文件很容易想到的是把大文件分成幾個小文件處理,并釋放內存之后每個小文件處理。

默認的塊大小:1你可以設置自己的塊大小\u201D\u201C\u201Cfile_object = (filePath),而真正的開放:chunk_data = file_ (chunk_size)如果不是chunk_data: breakyield chunk_dataif __name__ = = \在read_in_chunks \/路徑\/文件名\u201C塊(filePath):使用open()語句打開和關閉文件,包括拋出內部塊例外。文件對象f的線是視為一個迭代器,并將自動采用緩沖IO和內存管理,所以你不必擔心大文件。代碼如下:#如果文件是直線basedwith開放(\u2026)f: f的線:是沒有問題優化張開的大數據的使用數百萬行,但參數的差異也會導致不同的效率。

可以看出,二進制閱讀仍然是最快的方式。張開(文件名,rb) f: fLine的f:通過測試結果:rb方法是最快的,100 w線是遍歷在秒。它基本上可以滿足中型和大型文件處理的效率要求。如果你改變從rb(二級讀)r(讀模式),它將慢5 - 6倍。結論使用python來讀取大型文件時,你應該讓系統處理,用最簡單的方式,將其交給翻譯,和照顧你自己的工作。同時,根據不同的需要可以選擇不同的閱讀參數進一步獲得更高的性能。

總結

以上是生活随笔為你收集整理的怎么用python读取大文件_使用Python读取大文件的方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。