當一個 .txt 文件的數據過于龐大，此時想要對數據進行排序就需要先將數據進行切割，然后通過歸并排序，最終實現對整體數據的排序。要實現這個過程我們需要進行以下幾步：獲取總數據行數；根據行數按照自己的需要對數據進行切割；對每組數據進行排序 最后對所有數據進行歸并排序。

下面我們就來實現這整個過程：

一：獲取總數據的行

def get_file_lines(file_path):

# 目標文件的路徑

file_path = str(file_path)

with open(file_path, 'rb') as file:

# 定義行數

i = 0

while True:

# 一次讀取一行數據

line = file.readline()

if not line :

break

else:

# 每讀一行，行數加一

i += 1

#設置進度條，每當i讀取1000000行時打印一次i

# 每當讀取1000000的整數倍行時，打印行數（進度條）

if i % 1000000 == 0:

print(i)

# 打印總行數

print(i)

return i

二：對數據進行切割

# 定義均等切割函數，num是待切割的文件的行數的值，n為切割份數,file_path是待切割的文件，file_dir是切割好的文件寫入的目錄

def evg_split(num, n, file_path, file_dir):

last_list = []

# 如果樣本剛好可以整除為n份

if num % n == 0:

for i in range(n):

# 則直接將樣本分為n分沒份對應num/n個

last_list.append(num / n)

# 如果不能整除

if num % n != 0:

# 如果不能整除，則先將num整除n-1并取n-1份,余下的單獨做一份

evg = (num - num % n) // (n - 1)

for i in range(n):

last_list.append(evg)

last_list.append(num % (n - 1))

print(last_list)

# return last_list

# 對應于切割后的每一份數據

with open(file_path, 'rb') as path:

for i in range(n):

# 創建臨時文件

tmp_file = file_dir + str(i) + '.txt'

# 打開臨時文件，將內容一條一條的寫入

file = open(tmp_file, 'wb')

for j in range(int(last_list[i])):

line = path.readline()

file.write(line)

print(line)

print('------------')

file.close()

三：對每組數據進行排序的內容由讀者根據自身數據需要進行排序，下面直接介紹歸并排序

四：歸并排序

def merge( mylist1, mylist2, file1):

while len(mylist1) > 0 and len(mylist2) > 0:

if mylist1[0]

with open(file1,'a') as file:

file.write(str(mylist1[0]))

del mylist1[0]

elif mylist1[0] > mylist2[0]:

with open(file1,'a') as file:

file.write(str(mylist2[0]))

del mylist2[0]

else:

with open(file1,'a') as file:

file.write(str(mylist1[0]))

file.write(str(mylist2[0]))

del mylist1[0]

del mylist2[0]

with open(file1, 'a') as file:

for i in mylist1:

file.write(str(i))

for i in mylist2:

file.write(str(i))

總結：對于一個大型數據文件，我們可以將其切割成若干個小型的數據文件，然后分別的這些小型的數據文件進行排序，最后使用歸并排序將這些數據文件寫入到一個總體文件中，從而實現了對這個大型數據文件的排序。

以上這篇對python數據切割歸并算法的實例講解就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持我們。

本文標題: 對python數據切割歸并算法的實例講解

本文地址: http://www.cppcns.com/jiaoben/python/247039.html

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的python分割数字_对python数据切割归并算法的实例讲解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。