【Python】Pandas宝藏函数-concat()
在數據處理過程中,經常會遇到多個表進行拼接合并的需求,在Pandas中有多個拼接合并的方法,每種方法都有自己擅長的拼接方式,本文對pd.concat()進行詳細講解,希望對你有幫助。pd.concat()函數可以沿著指定的軸將多個dataframe或者series拼接到一起,這一點和另一個常用的pd.merge()函數不同,pd.merge()解決數據庫樣式的左右拼接,不能解決上下拼接。
一、基本語法
pd.concat(objs, axis=0, join='outer',ignore_index=False,keys=None,??????levels=None,?????names=None,??????verify_integrity=False,?????copy=True)二、參數含義
objs:Series,DataFrame或Panel對象的序列或映射,如果傳遞了dict,則排序的鍵將用作鍵參數
axis:{0,1,...},默認為0,也就是縱向上進行合并。沿著連接的軸。
join:{'inner','outer'},默認為“outer”。如何處理其他軸上的索引。outer為聯合和inner為交集。
ignore_index:boolean,default False。如果為True,請不要使用并置軸上的索引值。結果軸將被標記為0,...,n-1。如果要連接其中并置軸沒有有意義的索引信息的對象,這將非常有用。注意,其他軸上的索引值在連接中仍然受到尊重。
keys:序列,默認值無。使用傳遞的鍵作為最外層構建層次索引。如果為多索引,應該使用元組。
levels:序列列表,默認值無。用于構建MultiIndex的特定級別(唯一值)。否則,它們將從鍵推斷。
names:list,default無。結果層次索引中的級別的名稱。
verify_integrity:boolean,default False。檢查新連接的軸是否包含重復項。這相對于實際的數據串聯可能是非常昂貴的。
copy:boolean,default True。如果為False,請勿不必要地復制數據。
三、豎向堆疊
#構建需要的數據表import pandas as pd df1 = pd.DataFrame({'A':['A{}'.format(i) for i in range(0,4)],'B':['B{}'.format(i) for i in range(0,4)],'C':['C{}'.format(i) for i in range(0,4)]})df2 = pd.DataFrame({'A':['A{}'.format(i) for i in range(4,8)],'B':['B{}'.format(i) for i in range(4,8)],'C':['C{}'.format(i) for i in range(4,8)]}) df3 = pd.DataFrame({'A':['A{}'.format(i) for i in range(8,12)],'B':['B{}'.format(i) for i in range(8,12)],'C':['C{}'.format(i) for i in range(8,12)]})現將表構成list,然后在作為concat的輸入frames = [df1, df2, df3] result = pd.concat(frames)A B C 0 A0 B0 C0 1 A1 B1 C1 2 A2 B2 C2 3 A3 B3 C3 0 A4 B4 C4 1 A5 B5 C5 2 A6 B6 C6 3 A7 B7 C7 0 A8 B8 C8 1 A9 B9 C9 2 A10 B10 C10 3 A11 B11 C11傳入也可以是字典
frames = {'df1':df1, 'df2':df2,'df3':df3} result = pd.concat(frames)A B C df1 0 A0 B0 C01 A1 B1 C12 A2 B2 C23 A3 B3 C3 df2 0 A4 B4 C41 A5 B5 C52 A6 B6 C63 A7 B7 C7 df3 0 A8 B8 C81 A9 B9 C92 A10 B10 C103 A11 B11 C11三、橫向拼接
1、axis
當axis = 1的時候,concat就是行對齊,然后將不同列名稱的兩張表合并
#再構建一個表 df4 = pd.DataFrame({'C':['C{}'.format(i) for i in range(3,9)],'E':['E{}'.format(i) for i in range(3,9)],'F':['F{}'.format(i) for i in range(3,9)]}) pd.concat([df1,df4], axis=1)A B C C E F 0 A0 B0 C0 C3 E3 F3 1 A1 B1 C1 C4 E4 F4 2 A2 B2 C2 C5 E5 F5 3 A3 B3 C3 C6 E6 F6 4 NaN NaN NaN C7 E7 F7 5 NaN NaN NaN C8 E8 F82、join
加上join參數的屬性,如果為'inner'得到的是兩表的交集,如果是outer,得到的是兩表的并集。
# join='inner' 取交集 pd.concat([df1, df4], axis=1, join='inner')A B C C E F 0 A0 B0 C0 C3 E3 F3 1 A1 B1 C1 C4 E4 F4 2 A2 B2 C2 C5 E5 F5 3 A3 B3 C3 C6 E6 F6# join='outer' 和 默認值相同 pd.concat([df1, df4], axis=1, join='outer')A B C C E F 0 A0 B0 C0 C3 E3 F3 1 A1 B1 C1 C4 E4 F4 2 A2 B2 C2 C5 E5 F5 3 A3 B3 C3 C6 E6 F6 4 NaN NaN NaN C7 E7 F7 5 NaN NaN NaN C8 E8 F8四、對比append方法
append是series和dataframe的方法,使用它就是默認沿著列進行憑借(axis = 0,列對齊)
df1.append(df2)A B C 0 A0 B0 C0 1 A1 B1 C1 2 A2 B2 C2 3 A3 B3 C3 0 A4 B4 C4 1 A5 B5 C5 2 A6 B6 C6 3 A7 B7 C7五、忽略index
如果兩個表的index都沒有實際含義,使用ignore_index參數,置true,合并的兩個表就睡根據列字段對齊,然后合并。最后再重新整理一個新的index。?
pd.concat([df1, df4], axis=1, ignore_index=True) 0 1 2 3 4 5 0 A0 B0 C0 C3 E3 F3 1 A1 B1 C1 C4 E4 F4 2 A2 B2 C2 C5 E5 F5 3 A3 B3 C3 C6 E6 F6 4 NaN NaN NaN C7 E7 F7 5 NaN NaN NaN C8 E8 F8六、增加區分組鍵
前面提到的keys參數可以用來給合并后的表增加key來區分不同的表數據來源
1、可以直接用key參數實現
pd.concat([df1,df2,df3], keys=['x', 'y', 'z'])A B C x 0 A0 B0 C01 A1 B1 C12 A2 B2 C23 A3 B3 C3 y 0 A4 B4 C41 A5 B5 C52 A6 B6 C63 A7 B7 C7 z 0 A8 B8 C81 A9 B9 C92 A10 B10 C103 A11 B11 C112、傳入字典來增加分組鍵
frames = {'df1':df1, 'df2':df2,'df3':df3} result = pd.concat(frames)A B C df1 0 A0 B0 C01 A1 B1 C12 A2 B2 C23 A3 B3 C3 df2 0 A4 B4 C41 A5 B5 C52 A6 B6 C63 A7 B7 C7 df3 0 A8 B8 C81 A9 B9 C92 A10 B10 C103??A11??B11??C11七、加入新的行1、列字段相同的加入
append方法可以將 series 和 字典就夠的數據作為dataframe的新一行插入。?
s2 = pd.Series(['X0', 'X1', 'X2', 'X3'], index=['A', 'B', 'C', 'D']) df1.append(s2, ignore_index=True)A B C D 0 A0 B0 C0 NaN 1 A1 B1 C1 NaN 2 A2 B2 C2 NaN 3 A3 B3 C3 NaN 4 X0 X1 X2 X32、列字段不同的加入
如果遇到兩張表的列字段本來就不一樣,但又想將兩個表合并,其中無效的值用nan來表示。那么可以使用ignore_index來實現。
dicts = [{'A': 1, 'B': 2, 'C': 3, 'X': 4},{'A': 5, 'B': 6, 'C': 7, 'Y': 8}] df1.append(dicts, ignore_index=True)A B C X Y 0 A0 B0 C0 NaN NaN 1 A1 B1 C1 NaN NaN 2 A2 B2 C2 NaN NaN 3 A3 B3 C3 NaN NaN 4 1 2 3 4.0 NaN 5 5 6 7 NaN 8.0···? END? ···
往期精彩回顧適合初學者入門人工智能的路線及資料下載中國大學慕課《機器學習》(黃海廣主講)機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載本站qq群955171419,加入微信群請掃碼:總結
以上是生活随笔為你收集整理的【Python】Pandas宝藏函数-concat()的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ajax提交加载loading图标遮罩层
- 下一篇: 【深度学习】我用 PyTorch 复现了