像Excel一样使用python进行数据分析（2）
像Excel一樣使用python進行數據分析（1）
像Excel一樣使用python進行數據分析（3）
摘要：本篇文章通過python與excel的功能對比介紹如何使用python通過函數式編程完成excel中的數據處理及分析工作。
Excel是數據分析中最常用的工具，本篇文章通過python與excel的功能對比介紹如何使用python通過函數式編程完成excel中的數據處理及分析工作。在Python中pandas庫用于數據處理，我們從1787頁的pandas官網文檔中總結出最常用的36個函數，通過這些函數介紹如何通過python完成數據生成和導入，數據清洗，預處理，以及最常見的數據分類，數據篩選，分類匯總，透視等最常見的操作。
4，數據預處理
第四部分是數據的預處理，對清洗完的數據進行整理以便后期的統計和分析工作。主要包括數據表的合并，排序，數值分列，數據分組及標記等工作。
數據表合并
首先是對不同的數據表進行合并，我們這里創建一個新的數據表df1，并將df和df1兩個數據表進行合并。在Excel中沒有直接完成數據表合并的功能，可以通過VLOOKUP函數分步實現。在python中可以通過merge函數一次性實現。下面建立df1數據表，用于和df數據表進行合并。
#創建df1數據表 df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], "gender":['male','female','male','female','male','female','male','female'], "pay":['Y','N','Y','Y','N','Y','N','Y',], "m-point":[10,12,20,40,40,40,30,20]})?
使用merge函數對兩個數據表進行合并（關于三個合并函數：merge,，concat，join的用法與區別見鏈接：https://www.cnblogs.com/bawu/p/7701810.html），合并的方式為inner，將兩個數據表中共有的數據匹配到一起生成新的數據表。并命名為df_inner。
#數據表匹配合并，inner模式 df_inner=pd.merge(df,df1,how='inner')?
除了inner方式以外，合并的方式還有left，right和outer方式。這幾種方式的差別在我其他的文章中有詳細的說明和對比。
#其他數據表匹配模式 df_left=pd.merge(df,df1,how='left') df_right=pd.merge(df,df1,how='right') df_outer=pd.merge(df,df1,how='outer')?
設置索引列
完成數據表的合并后，我們對df_inner數據表設置索引列，索引列的功能很多，可以進行數據提取，匯總，也可以進行數據篩選等。設置索引的函數為set_index。
#設置索引列 df_inner.set_index('id')?
排序(按索引，按數值)
Excel中可以通過數據目錄下的排序按鈕直接對數據表進行排序，比較簡單。Python中需要使用ort_values函數和sort_index函數完成排序。
在python中，既可以按索引對數據表進行排序，也可以看制定列的數值進行排序。首先我們按age列中用戶的年齡對數據表進行排序。
使用的函數為sort_values。
?
Sort_index函數用來將數據表按索引列的值進行排序。
#按索引列排序 df_inner.sort_index()?
數據分組
Excel中可以通過VLOOKUP函數進行近似匹配來完成對數值的分組，或者使用“數據透視表”來完成分組。相應的 python中使用where函數完成數據分組。
Where函數用來對數據進行判斷和分組，下面的代碼中我們對price列的值進行判斷，將符合條件的分為一組，不符合條件的分為另一組，并使用group字段進行標記。
#如果price列的值>3000，group列顯示high，否則顯示low df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')?
除了where函數以外，還可以對多個字段的值進行判斷后對數據進行分組，下面的代碼中對city列等于beijing并且price列大于等于4000的數據標記為1。
#對復合多個條件的數據進行分組標記 df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1?
數據分列
與數據分組相反的是對數值進行分列，Excel中的數據目錄下提供“分列”功能。在python中使用split函數實現分列。
在數據表中category列中的數據包含有兩個信息，前面的數字為類別id，后面的字母為size值。中間以連字符進行連接。我們使用split函數對這個字段進行拆分，并將拆分后的數據表匹配回原數據表中。
?
#將完成分列后的數據表與原df_inner數據表進行匹配 df_inner=pd.merge(df_inner,split,right_index=True, left_index=True)?
5，數據提取
第五部分是數據提取，也是數據分析中最常見的一個工作。這部分主要使用三個函數，loc，iloc和ix，loc函數按標簽值進行提取，iloc按位置進行提取，ix可以同時按標簽和位置進行提取。下面介紹每一種函數的使用方法。
按標簽提取(loc)
Loc函數按數據表的索引標簽進行提取，下面的代碼中提取了索引列為3的單條數據。
#按索引提取單行的數值 df_inner.loc[3] id 1004 date 2013-01-05 00:00:00 city shenzhen category 110-C age 32 price 5433 gender female m-point 40 pay Y group high sign NaN category_1 110 size C Name: 3, dtype: object?
使用冒號可以限定提取數據的范圍，冒號前面為開始的標簽值，后面為結束的標簽值。下面提取了0到5的數據行。
#按索引提取區域行數值 df_inner.loc[0:5]?
Reset_index函數用于恢復索引，這里我們重新將date字段的日期設置為數據表的索引，并按日期進行數據提取。
#重設索引 df_inner.reset_index() #設置日期為索引 df_inner=df_inner.set_index('date')?
使用冒號限定提取數據的范圍，冒號前面為空表示從0開始。提取所有2013年1月4日以前的數據。
#提取4日之前的所有數據 df_inner[:'2013-01-04']?
按位置提取(iloc)
使用iloc函數按位置對數據表中的數據進行提取，這里冒號前后的數字不再是索引的標簽名稱，而是數據所在的位置，從0開始。
#使用iloc按位置區域提取數據 df_inner.iloc[:3,:2]?
iloc函數除了可以按區域提取數據，還可以按位置逐條提取，前面方括號中的0,2,5表示數據所在行的位置，后面方括號中的數表示所在列的位置。
#使用iloc按位置單獨提取數據 df_inner.iloc[[0,2,5],[4,5]]?
按標簽和位置提取（ix）
ix是loc和iloc的混合，既能按索引標簽提取，也能按位置進行數據提取。下面代碼中行的位置按索引日期設置，列按位置設置。
#使用ix按索引標簽和位置混合提取數據 df_inner.ix[:'2013-01-03',:4]?
按條件提取（區域和條件值）
除了按標簽和位置提起數據以外，還可以按具體的條件進行數據。下面使用loc和isin兩個函數配合使用，按指定條件對數據進行提取 。
使用isin函數對city中的值是否為beijing進行判斷。
#判斷city列的值是否為beijing df_inner['city'].isin(['beijing']) date 2013-01-02 True 2013-01-05 False 2013-01-07 True 2013-01-06 False 2013-01-03 False 2013-01-04 False Name: city, dtype: bool?
將isin函數嵌套到loc的數據提取函數中，將判斷結果為Ture數據提取出來。這里我們把判斷條件改為city值是否為beijing和 shanghai。如果是就把這條數據提取出來。
#先判斷city列里是否包含beijing和shanghai，然后將復合條件的數據提取出來。 df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]?
數值提取還可以完成類似數據分列的工作，從合并的數值中提取出制定的數值。
category=df_inner['category'] 0 100-A 3 110-C 5 130-F 4 210-A 1 100-B 2 110-A Name: category, dtype: object#提取前三個字符，并生成數據表 pd.DataFrame(category.str[:3])?
6，數據篩選
第六部分為數據篩選，使用與，或，非三個條件配合大于，小于和等于對數據進行篩選，并進行計數和求和。與excel中的篩選功能和countifs和sumifs功能相似。
按條件篩選（與，或，非）
Excel數據目錄下提供了“篩選”功能，用于對數據表按不同的條件進行篩選。Python中使用loc函數配合篩選條件來完成篩選功能。配合sum和count函數還能實現excel中sumif和countif函數的功能。
使用“與”條件進行篩選，條件是年齡大于25歲，并且城市為beijing。篩選后只有一條數據符合要求。
?
使用“或”條件進行篩選，年齡大于25歲或城市為beijing。篩選后有6條數據符合要求。
#使用“或”條件篩選 df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']].sort (['age'])?
在前面的代碼后增加price字段以及sum函數，按篩選后的結果將price字段值進行求和，相當于excel中sumifs的功能。
#對篩選后的數據按price字段進行求和 df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender','price']].sort(['age']).price.sum() 19796?
使用“非”條件進行篩選，城市不等于beijing。符合條件的數據有4條。將篩選結果按id列進行排序。
#使用“非”條件進行篩選 df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id'])?
在前面的代碼后面增加city列，并使用count函數進行計數。相當于excel中的countifs函數的功能。
#對篩選后的數據按city列進行計數 df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count() 4?
還有一種篩選的方式是用query函數。下面是具體的代碼和篩選結果。
#使用query函數進行篩選 df_inner.query('city == ["beijing", "shanghai"]')?
在前面的代碼后增加price字段和sum函數。對篩選后的price字段進行求和，相當于excel中的sumifs函數的功能。
#對篩選后的結果按price進行求和 df_inner.query('city == ["beijing", "shanghai"]').price.sum() 12230?
下一篇文章，也就是本系列的最后一篇我們將介紹7-9最后三部分的內容，分別為數據匯總，數據統計和數據輸出。請朋友們繼續關注 。
轉載于:https://www.cnblogs.com/xitingxie/p/8360038.html
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
以上是生活随笔為你收集整理的像Excel一样使用python进行数据分析（2）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： node 调用腾讯大数据接口
- 下一篇： 整理一波笔记