Python大文件切割
生活随笔
收集整理的這篇文章主要介紹了
Python大文件切割
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
"""
例如:一個1T文件,需要切割成10小文件,可采用均勻灑水方式進行切割.
完美運行!
"""
import ossource_file_path = r'bigfile.csv'
target_file_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'splits')
target_file_count = 10
target_file_list = [open(target_file_dir + '/%s.csv' % x, 'a+', encoding='utf-8-sig') for x in range(target_file_count)]
# print(target_file_list)with open(source_file_path, 'r', encoding='utf-8-sig') as source_file: # 打開原始文件for index, source_file_line in enumerate(source_file): # 讀原始文件每一行target_file_index = index % 10 # 任何一個數 %10 產生 0-9的數,剛好為target_file_list下標target_file_list[target_file_index].write(source_file_line)
?
總結
以上是生活随笔為你收集整理的Python大文件切割的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: C#分割文件路径中的文件名与路径
- 下一篇: wap 设计的基本原则