在數(shù)據(jù)分析領(lǐng)域，最熱門(mén)的莫過(guò)于Python和R語(yǔ)言，此前有一篇文章《別老扯什么Hadoop了，你的數(shù)據(jù)根本不夠大》指出：只有在超過(guò)5TB數(shù)據(jù)量的規(guī)模下，Hadoop才是一個(gè)合理的技術(shù)選擇。這次拿到近億條日志數(shù)據(jù)，千萬(wàn)級(jí)數(shù)據(jù)已經(jīng)是關(guān)系型數(shù)據(jù)庫(kù)的查詢分析瓶頸，之前使用過(guò)Hadoop對(duì)大量文本進(jìn)行分類，這次決定采用Python來(lái)處理數(shù)據(jù)：

• 硬件環(huán)境
  • • CPU：3.5 GHz Intel Core i7
    • 內(nèi)存：32 GB HDDR 3 1600 MHz
    • 硬盤(pán)：3 TB Fusion Drive
• 數(shù)據(jù)分析工具
  • • Python：2.7.6
    • Pandas：0.15.0
    • IPython notebook：2.0.0

源數(shù)據(jù)如下表所示：

? Table Size Desc

ServiceLogs	98,706,832 rows x 14 columns	8.77 GB	交易日志數(shù)據(jù)，每個(gè)交易會(huì)話可以有多條交易
ServiceCodes	286 rows × 8 columns	20 KB	交易分類的字典表

數(shù)據(jù)讀取

啟動(dòng)IPython notebook，加載pylab環(huán)境：

1	ipython notebook --pylab=inline

Pandas提供了IO工具可以將大文件分塊讀取，測(cè)試了一下性能，完整加載9800萬(wàn)條數(shù)據(jù)也只需要263秒左右，還是相當(dāng)不錯(cuò)了。

1 2 3 4 5 6

import pandas as pd reader = pd.read_csv('data/servicelogs', iterator=True) try: ????df = reader.get_chunk(100000000) except StopIteration: ????print "Iteration is stopped."

? 1百萬(wàn)條 1千萬(wàn)條 1億條

ServiceLogs	1 s	17 s	263 s

使用不同分塊大小來(lái)讀取再調(diào)用?pandas.concat?連接DataFrame，chunkSize設(shè)置在1000萬(wàn)條左右速度優(yōu)化比較明顯。

1234567891011

loop = TruechunkSize = 100000chunks = []while loop:????try:????????chunk = reader.get_chunk(chunkSize)????????chunks.append(chunk)????except StopIteration:????????loop = False????????print "Iteration is stopped."df = pd.concat(chunks, ignore_index=True)

下面是統(tǒng)計(jì)數(shù)據(jù)，Read Time是數(shù)據(jù)讀取時(shí)間，Total Time是讀取和Pandas進(jìn)行concat操作的時(shí)間，根據(jù)數(shù)據(jù)總量來(lái)看，對(duì)5~50個(gè)DataFrame對(duì)象進(jìn)行合并，性能表現(xiàn)比較好。

Chunk SizeRead Time (s)Total Time (s)Performance

100,000	224.418173	261.358521	?
200,000	232.076794	256.674154	?
1,000,000	213.128481	234.934142	√?√
2,000,000	208.410618	230.006299	√?√?√
5,000,000	209.460829	230.939319	√?√?√
10,000,000	207.082081	228.135672	√?√?√?√
20,000,000	209.628596	230.775713	√?√?√
50,000,000	222.910643	242.405967	?
100,000,000	263.574246	263.574246	?

如果使用Spark提供的Python Shell，同樣編寫(xiě)Pandas加載數(shù)據(jù)，時(shí)間會(huì)短25秒左右，看來(lái)Spark對(duì)Python的內(nèi)存使用都有優(yōu)化。

數(shù)據(jù)清洗

Pandas提供了?DataFrame.describe?方法查看數(shù)據(jù)摘要，包括數(shù)據(jù)查看（默認(rèn)共輸出首尾60行數(shù)據(jù)）和行列統(tǒng)計(jì)。由于源數(shù)據(jù)通常包含一些空值甚至空列，會(huì)影響數(shù)據(jù)分析的時(shí)間和效率，在預(yù)覽了數(shù)據(jù)摘要后，需要對(duì)這些無(wú)效數(shù)據(jù)進(jìn)行處理。

首先調(diào)用?DataFrame.isnull()?方法查看數(shù)據(jù)表中哪些為空值，與它相反的方法是?DataFrame.notnull()?，Pandas會(huì)將表中所有數(shù)據(jù)進(jìn)行null計(jì)算，以True/False作為結(jié)果進(jìn)行填充，如下圖所示：

Pandas的非空計(jì)算速度很快，9800萬(wàn)數(shù)據(jù)也只需要28.7秒。得到初步信息之后，可以對(duì)表中空列進(jìn)行移除操作。嘗試了按列名依次計(jì)算獲取非空列，和?DataFrame.dropna()?兩種方式，時(shí)間分別為367.0秒和345.3秒，但檢查時(shí)發(fā)現(xiàn) dropna() 之后所有的行都沒(méi)有了，查了Pandas手冊(cè)，原來(lái)不加參數(shù)的情況下， dropna() 會(huì)移除所有包含空值的行。如果只想移除全部為空值的列，需要加上 axis 和 how 兩個(gè)參數(shù)：

1	df.dropna(axis=1, how='all')

共移除了14列中的6列，時(shí)間也只消耗了85.9秒。

接下來(lái)是處理剩余行中的空值，經(jīng)過(guò)測(cè)試，在?DataFrame.replace()?中使用空字符串，要比默認(rèn)的空值NaN節(jié)省一些空間；但對(duì)整個(gè)CSV文件來(lái)說(shuō)，空列只是多存了一個(gè)“,”，所以移除的9800萬(wàn) x 6列也只省下了200M的空間。進(jìn)一步的數(shù)據(jù)清洗還是在移除無(wú)用數(shù)據(jù)和合并上。

對(duì)數(shù)據(jù)列的丟棄，除無(wú)效值和需求規(guī)定之外，一些表自身的冗余列也需要在這個(gè)環(huán)節(jié)清理，比如說(shuō)表中的流水號(hào)是某兩個(gè)字段拼接、類型描述等，通過(guò)對(duì)這些數(shù)據(jù)的丟棄，新的數(shù)據(jù)文件大小為4.73GB，足足減少了4.04G！

數(shù)據(jù)處理

使用?DataFrame.dtypes?可以查看每列的數(shù)據(jù)類型，Pandas默認(rèn)可以讀出int和float64，其它的都處理為object，需要轉(zhuǎn)換格式的一般為日期時(shí)間。DataFrame.astype()?方法可對(duì)整個(gè)DataFrame或某一列進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，支持Python和NumPy的數(shù)據(jù)類型。

1	df['Name'] = df['Name'].astype(np.datetime64)

對(duì)數(shù)據(jù)聚合，我測(cè)試了 DataFrame.groupby 和 DataFrame.pivot_table 以及 pandas.merge ，groupby 9800萬(wàn)行 x 3列的時(shí)間為99秒，連接表為26秒，生成透視表的速度更快，僅需5秒。

1 2 3

df.groupby(['NO','TIME','SVID']).count() # 分組 fullData = pd.merge(df, trancodeData)[['NO','SVID','TIME','CLASS','TYPE']] # 連接 actions = fullData.pivot_table('SVID', columns='TYPE', aggfunc='count') # 透視表

根據(jù)透視表生成的交易/查詢比例餅圖：

將日志時(shí)間加入透視表并輸出每天的交易/查詢比例圖：

12	total_actions = fullData.pivot_table('SVID', index='TIME', columns='TYPE', aggfunc='count')total_actions.plot(subplots=False, figsize=(18,6), kind='area')

除此之外，Pandas提供的DataFrame查詢統(tǒng)計(jì)功能速度表現(xiàn)也非常優(yōu)秀，7秒以內(nèi)就可以查詢生成所有類型為交易的數(shù)據(jù)子表：

1	tranData = fullData[fullData['Type'] == 'Transaction']

該子表的大小為?[10250666 rows x 5 columns]。在此已經(jīng)完成了數(shù)據(jù)處理的一些基本場(chǎng)景。實(shí)驗(yàn)結(jié)果足以說(shuō)明，在非“>5TB”數(shù)據(jù)的情況下，Python的表現(xiàn)已經(jīng)能讓擅長(zhǎng)使用統(tǒng)計(jì)分析語(yǔ)言的數(shù)據(jù)分析師游刃有余。

by?陳加興@rcfans_?

from:?http://python.jobbole.com/84118/

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的用Python Pandas处理亿级数据的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。