alter table add column多个字段_利用Python将多个excel合并到一个文件中
生活随笔
收集整理的這篇文章主要介紹了
alter table add column多个字段_利用Python将多个excel合并到一个文件中
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
數據崗位的小伙伴可能經常會遇到這樣一個問題:多個來源返回的數據怎么整合到一個文件中?手動經常會出錯,下面介紹一種利用Python處理的方式:
前期準備:
1、多個excel需要進行數據整理,保證文件的結構一致,這里主要用到的字段是:姓名、證件號、以及所在單位(文件名)
原始文件結構2、因為每個返回回來的文件可能結構不同,所以進行第二步前一定要保證第一步處理好,接下來第二步,所有文件放在同一個文件夾,當然也可以做遍歷展開所有文件夾,此過程本篇不做展開
3、開干。基本思路:獲取每個excel中的所有sheet文件,并讀取前兩列的所有數據,將對應文件名稱設為第三列(即為對應單位)。直接上代碼:
# -*- coding: utf-8 -*-#將多個Excel文件合并成一個 import xlrd import xlsxwriter import os#打開一個excel文件 def open_xls(file):fh=xlrd.open_workbook(file)return fh#獲取excel中所有的sheet表 def getsheet(fh):return fh.sheets()#獲取sheet表的行數 def getnrows(fh,sheet):table=fh.sheets()[sheet]return table.nrows#讀取文件內容并返回行內容 def getFilect(file,shnum):fh=open_xls(file)table=fh.sheets()[shnum]num=table.nrowsfor row in range(num):rdata=table.row_values(row)datavalue.append(rdata)return datavalue#添加列并返回行內容 def addcol(file,shnum):fh=open_xls(file)table=fh.sheets()[shnum]num=table.nrowsfilename = os.path.basename(file)index = filename.rfind('.')name = filename[:index]for row in range(num):acol.append(name)return acol#獲取sheet表的個數 def getshnum(fh):x=0sh=getsheet(fh)for sheet in sh:x+=1return x#遍歷文件夾下所有文件并輸出文件名 def allxls(rootdir):allxls = []for parent, dirnames, filenames in os.walk(rootdir):for filename in filenames:if os.path.splitext(filename)[1] == '.xls':allxls.append(filename)return allxlsif __name__=='__main__':#定義要合并的excel文件列表 rootdir = "K:/7 數據分析/3 PYTHON/15 excel合并/廣西" allxls = allxls(rootdir)#存儲所有讀取的結果 datavalue=[]acol = []for fl in allxls:filename = os.path.basename(fl)fh=open_xls(fl)x=getshnum(fh)for shnum in range(x):print("正在讀取文件:"+str(fl)+"的第"+str(shnum)+"個sheet表的內容...")rvalue = getFilect(fl,shnum)acol = addcol(fl, shnum)#定義最終合并后生成的新文件 endfile = xlsxwriter.Workbook('demo.xls')#創建一個sheet工作對象 ws=endfile.add_worksheet()for a in range(len(rvalue)):for b in range(0,2):c = rvalue[a][b]d = acol[a]ws.write(a, b, c)ws.write(a, b+1, d)endfile.close()print("文件合并完成")執行結果:
總結
以上是生活随笔為你收集整理的alter table add column多个字段_利用Python将多个excel合并到一个文件中的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 吉大计算机学院刘淑芬,刘淑芬-吉林大学计
- 下一篇: kafka topic 一段时间不消费_