python用什么处理文件_利用Python如何快速处理文件
利用Python如何快速處理文件
我之前要合并將近1000個CSV表格
每個表格共370列,約360行不等,列名相同
三個方案瞬間浮現在我眼前:
1、Ctrl C + Ctrl V——可以睡公司了;
2、Excel Power Query,估計等電腦卡崩了,還得用回方案一;
3、敲代碼!俗話說,沒有什么是一行代碼解決不了的,如果有,就再敲一行。
首先,我把這個問題分解成四個小目標
01查找到工作表所在文件位置
02提取表格
03合并表格
04導出表格
01查找文件位置
首先我們導入python的os模塊: import os
使用os模塊的walk方法輸出指定目錄的文件
for file in os.walk('F:/Document/學員數據'):
print(file)
我使用for循環遍歷‘F:/Document/學員數據’,這個文件目錄,得到一個(),這是“元組”(姑且理解為一個盛放東西的容器)。里面用兩個逗號分成三部分:
1)第一部分就是我輸入的文件夾目錄。
2)第二部分是個空列表,不去管它。
3)第三部分也是一個列表,里面是我要提取的每個工作表。
第一個小目標達成(?
02、提取表格
首先,我需要知道工作表的文件路徑,這很簡單!完整的路徑就是文件夾目錄+工作表名稱
然后,我定義一個列表,嗯…這也是個容器,容納提取的912個文件
接著,我導入pandas包,用read_csv()方法來提取工作表
最后,寫好循環,把提取的文件裝進列表中,別忘了設置一個計數,用來運行時顯示進度
第二個小目標達成(?·??
03、合并表格
03、合并表格
這里我們用到了pandas的concat方法。
pandas.concat()
合并剛才列表‘l’中的所有工作表到data_result這個變量中。
第三個小目標達成(?·??·?)??
同樣,解決問題的方法也來自于pandas這款神器。
pandas.DataFrame.to_csv()方法
其實,pandas可以保存數據為許多種格式,這里我還是選擇了最常用的csv格式。
這里括號內首先填寫保存的數據路徑和名稱,其次,別忘了設置index=0的參數,否則數據會多出一列索引列。啊?聽不明白?動手試一試就明白了
第四個小目標達成(?·??·?)??
讓我們回顧一下代碼全貌
代碼不長,一共23行。
其中10-15行的是代碼核心部分,這是實現工作表合并最基本的代碼。
主要的工作思路是找到工作表所在的文件夾,提取其中每個工作表,合并它們,然后導出數據。(四個小目標)
才23行代碼就可以解決你平時要4-5個小時處理的重復性工作,是不是大大提升了自己的工作效率呢!
見證奇跡的時刻到了~!
醬醬在最下面加了一個計時器,猜猜做完這一堆excel表格只要多久呢
哈哈哈幾分鐘
合并912個工作表僅僅只要150秒!
純python開發,應用場景包括單工作簿多工作表、多工作簿多工作表、多文件夾多工作簿的合并。并且可以處理同時含以上三種情況的綜合問題!
Python里面有超級超級多的Excel模塊,Python也是膠水語言,可以非常好的調用C、JAVA的模塊
到了12關你還可以做一個簡單的員工管理系統
之前學員是處理廠的訂單的,需要根據訂單信息來打印標簽。他每次處理訂單都要四五個小時
python有很多處理excel的模塊。于是,用python自動處理數據、生成標簽
訂單信息類似于這樣的
每次有新訂單,運行一下程序,兩秒之內出結果,沒有多復雜,大約20多行代碼的事情而已~
這些是Python中常見的對文件的一些操作命令,可以看看,了解一下
在15關就有詳細的關于python操作文件的課程學習,
通過這一關卡的學習,對于python操作寫入和讀取都能很好的學習到的
新人創作打卡挑戰賽發博客就能抽獎!定制產品紅包拿不停!總結
以上是生活随笔為你收集整理的python用什么处理文件_利用Python如何快速处理文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: SQL Server 2005 SP2发
- 下一篇: “熊猫烧香”式的病毒营销