電商行業(yè)，每月有上百萬條訂單發(fā)貨數(shù)據(jù)需要與倉庫的數(shù)據(jù)進(jìn)行核對計算，涉及到數(shù)據(jù)計算，篩選，匹配等步驟，用excel表超級卡，并且經(jīng)常卡死。

這時如果你會Python，十幾行代碼就可以搞定。

這里需要兩個Python庫，一個是os庫，一個是pandas庫。

os庫

os是Python內(nèi)置庫，不需要額外安裝，只要用import導(dǎo)入就可以用了。os模塊封裝了常見的文件和目錄操作，利用它可以輕松的對系統(tǒng)上的目錄和文件進(jìn)行各種操作，比如獲取當(dāng)前目錄、列舉當(dāng)前文件夾中的所有文件和文件夾、判斷文件或目錄是否存在、刪除文件等。

pandas庫

pandas是第三方庫，需要手動安裝才能使用。pandas是專門用來做數(shù)據(jù)分析的強(qiáng)大類庫，可以方便地從csv、Excel和其他文本文件以及數(shù)據(jù)庫中讀取數(shù)據(jù)，然后對數(shù)據(jù)進(jìn)行加和、求平均值、求方差、計算最大值最小值等數(shù)據(jù)分析，支持生成Excel等格式文件或進(jìn)行可視化操作。

其中讀Excel需要依賴xlrd庫，寫Excel依賴openpyxl，pandas、xlrd和openpyxl安裝命令如下：

$ pip install xlrd openpyxl pandas

下面開始進(jìn)行數(shù)據(jù)處理…

這里假設(shè)數(shù)據(jù)是按日期命名的Excel文件并且放在一個Excel文件夾中,每個Excel文件包含用戶ID、商品ID、商品屬性列表、購買數(shù)量這幾列信息。

文件夾中的所有文件如下：

$ ls excel_data

20120702.xlsx 20131018.xlsx 20150203.xlsx 20170416.xlsx 20180814.xlsx

20120703.xlsx 20131019.xlsx 20150204.xlsx 20170417.xlsx 20180815.xlsx

20120704.xlsx 20131020.xlsx 20150205.xlsx 20170418.xlsx 20180816.xlsx ...

實現(xiàn)的思路是利用os庫獲取所有的Excel文件，然后用pandas依次讀取所有文件并合并到一起進(jìn)行數(shù)據(jù)分析,計算出每個商品的總量以及銷量前十的商品。列舉所有Excel文件

import os

files = os.listdir("excel_data")

2.用pandas讀取所有數(shù)據(jù)并合并到一起

import pandas as pd

df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files]

data = pd.concat(df_list)

3. 統(tǒng)計每個商品的數(shù)量

sum_of_product = data[["商品ID", "購買數(shù)量"]].groupby(["商品ID"]).sum()

sum_of_product

商品ID購買數(shù)量

16621

20182617

20331967

203320494

203322332

......

12268002521

1226800268

12269002316

12269202448

1226960245

662 rows × 1 columns

4.獲取銷量前十的商品

sum_of_product.sort_values('購買數(shù)量', ascending=False).head(10)

商品ID購買數(shù)量

5001883156632

500070168291

500119936351

500136366340

500037006325

2111225823

500105585248

500160064948

500066024692

500025244123

完整代碼如下：

import os

import pandas as pd

# 獲取所有Excel文件并讀取數(shù)據(jù)

files = os.listdir("excel_data")

df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files]

data = pd.concat(df_list)

# 統(tǒng)計每個商品的數(shù)量，并輸出到Excel文件中

sum_of_product = data[["商品ID", "購買數(shù)量"]].groupby(["商品ID"]).sum()

sum_of_product.to_excel("各個商品數(shù)量統(tǒng)計.xlsx")

# 統(tǒng)計銷量前十的商品

sum_of_product.sort_values('購買數(shù)量', ascending=False).head(10)

商品ID購買數(shù)量

5001883156632

500070168291

500119936351

500136366340

500037006325

2111225823

500105585248

500160064948

500066024692

500025244123

教程就到這里，不足之處歡迎交流指正。

————————————————

總結(jié)

以上是生活随笔為你收集整理的python excel行数计算不对_数十万数据Excel数据不好处理怎么办？几行Python搞定的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。