本篇博客主要介紹：

合并數(shù)據(jù)集：.merge()、.concat()等方法，類似于SQL或其他關(guān)系型數(shù)據(jù)庫的連接操作。

合并數(shù)據(jù)集

1） merge 函數(shù)參數(shù)

參數(shù)說明

left	參與合并的左側(cè)DataFrame
right	參與合并的右側(cè)DataFrame
how	連接方式：‘inner’（默認）；還有，‘outer’、‘left’、‘right’
on	用于連接的列名，必須同時存在于左右兩個DataFrame對象中，如果位指定，則以left和right列名的交集作為連接鍵
left_on	左側(cè)DataFarme中用作連接鍵的列
right_on	右側(cè)DataFarme中用作連接鍵的列
left_index	將左側(cè)的行索引用作其連接鍵
right_index	將右側(cè)的行索引用作其連接鍵
sort	根據(jù)連接鍵對合并后的數(shù)據(jù)進行排序，默認為True。有時在處理大數(shù)據(jù)集時，禁用該選項可獲得更好的性能
suffixes	字符串值元組，用于追加到重疊列名的末尾，默認為（‘_x’,‘_y’）.例如，左右兩個DataFrame對象都有‘data’，則結(jié)果中就會出現(xiàn)‘data_x’，‘data_y’
copy	設(shè)置為False，可以在某些特殊情況下避免將數(shù)據(jù)復(fù)制到結(jié)果數(shù)據(jù)結(jié)構(gòu)中。默認總是賦值

1、多對一的合并（一個表的連接鍵列有重復(fù)值，另一個表中的連接鍵沒有重復(fù)值）

import pandas as pd import numpy as npdf1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1': range(7)})df1 ?data1key0123456

0	b
1	b
2	a
3	c
4	a
5	a
6	b

df2 = pd.DataFrame({'key':['a','b','d'],'data2':range(3)})df2 ?data2key012

0	a
1	b
2	d

pd.merge(df1,df2)#默認情況 ?data1keydata2012345

0	b	1
1	b	1
6	b	1
2	a	0
4	a	0
5	a	0

df1.merge(df2) ?data1keydata2012345

0	b	1
1	b	1
6	b	1
2	a	0
4	a	0
5	a	0

df1.merge(df2,on = 'key',how = 'inner')#內(nèi)連接，取交集 ?data1keydata2012345

0	b	1
1	b	1
6	b	1
2	a	0
4	a	0
5	a	0

df1.merge(df2,on = 'key',how = 'outer')#外鏈接，取并集，并用nan填充 ?data1keydata201234567

0.0	b	1.0
1.0	b	1.0
6.0	b	1.0
2.0	a	0.0
4.0	a	0.0
5.0	a	0.0
3.0	c	NaN
NaN	d	2.0

df1.merge(df2,on = 'key',how = 'left')#左連接，左側(cè)DataFrame取全部，右側(cè)DataFrame取部分 ?data1keydata20123456

0	b	1.0
1	b	1.0
2	a	0.0
3	c	NaN
4	a	0.0
5	a	0.0
6	b	1.0

df1.merge(df2,on = 'key',how = 'right')#右連接，右側(cè)DataFrame取全部，左側(cè)DataFrame取部分 ?data1keydata20123456

0.0	b	1
1.0	b	1
6.0	b	1
2.0	a	0
4.0	a	0
5.0	a	0
NaN	d	2

如果左右側(cè)DataFrame的連接鍵列名不一致，但是取值有重疊，可使用left_on、right_on來指定左右連接鍵

df3 = pd.DataFrame({'lkey':['b','b','a','c','a','a','b'],'data1': range(7)})df3 ?data1lkey0123456

0	b
1	b
2	a
3	c
4	a
5	a
6	b

df4 = pd.DataFrame({'rkey':['a','b','d'],'data2':range(3)})df4 ?data2rkey012

0	a
1	b
2	d

df3.merge(df4,left_on = 'lkey',right_on = 'rkey',how = 'inner') ?data1lkeydata2rkey012345

0	b	1	b
1	b	1	b
6	b	1	b
2	a	0	a
4	a	0	a
5	a	0	a

2、多對多的合并（一個表的連接鍵列有重復(fù)值，另一個表中的連接鍵有重復(fù)值）

df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1': range(7)})df1 ?data1key0123456

0	b
1	b
2	a
3	c
4	a
5	a
6	b

df5 = pd.DataFrame({'key':['a','b','a','b','b'],'data2': range(5)}) df5 ?data2key01234

0	a
1	b
2	a
3	b
4	b

df1.merge(df5) ?data1keydata201234567891011121314

0	b	1
0	b	3
0	b	4
1	b	1
1	b	3
1	b	4
6	b	1
6	b	3
6	b	4
2	a	0
2	a	2
4	a	0
4	a	2
5	a	0
5	a	2

合并小結(jié)

1）默認情況下，會將兩個表中相同列名作為連接鍵

2）多對多，會采用笛卡爾積形式鏈接（左表連接鍵有三個值‘1，3，5’，右表有兩個值‘2，3’，則會形成，（1，2）（1，3）（3，1），（3，2）。。。6種組合）

3）存在多個連接鍵的處理

left = pd.DataFrame({'key1':['foo','foo','bar'],'key2':['one','one','two'],'lval':[1,2,3]})right = pd.DataFrame({'key1':['foo','foo','bar','bar'],'key2':['one','one','one','two'],'rval':[4,5,6,7]}) left ?key1key2lval012

foo	one	1
foo	one	2
bar	two	3

right ?key1key2rval0123

foo	one	4
foo	one	5
bar	one	6
bar	two	7

pd.merge(left,right,on = ['key1','key2'],how = 'outer') ?key1key2lvalrval012345

foo	one	1.0	4
foo	one	1.0	5
foo	one	2.0	4
foo	one	2.0	5
bar	two	3.0	7
bar	one	NaN	6

1）連接鍵是多對多關(guān)系，應(yīng)執(zhí)行笛卡爾積形式

2）多列應(yīng)看連接鍵值對是否一致

4）對連接表中非連接列的重復(fù)列名的處理

pd.merge(left,right,on = 'key1') ?key1key2_xlvalkey2_yrval012345

foo	one	1	one	4
foo	one	1	one	5
foo	one	2	one	4
foo	one	2	one	5
bar	two	3	one	6
bar	two	3	two	7

pd.merge(left,right,on = 'key1',suffixes = ('_left','_right')) ?key1key2_leftlvalkey2_rightrval012345

foo	one	1	one	4
foo	one	1	one	5
foo	one	2	one	4
foo	one	2	one	5
bar	two	3	one	6
bar	two	3	two	7

2）索引上的合并

當(dāng)連接鍵位于索引中時，成為索引上的合并，可以通過merge函數(shù)，傳入left_index、right_index來說明應(yīng)該被索引的情況。

一表中連接鍵是索引列、另一表連接鍵是非索引列

left1 = pd.DataFrame({'key':['a','b','a','a','b','c'],'value': range(6)}) left1 ?keyvalue012345

a	0
b	1
a	2
a	3
b	4
c	5

right1 = pd.DataFrame({'group_val':[3.5,7]},index = ['a','b']) right1 ?group_valab

3.5

7.0

pd.merge(left1,right1,left_on = 'key',right_index = True) ?keyvaluegroup_val02314

a	0	3.5
a	2	3.5
a	3	3.5
b	1	7.0
b	4	7.0

有上可知，left_on、right_on是指定表中非索引列為連接鍵，left_index、right_index是指定表中索引列為連接鍵，兩者可以組合，是為了區(qū)分是否是索引列

兩個表中的索引列都是連接鍵

left2 = pd.DataFrame(np.arange(6).reshape(3,2),index = ['a','b','e'],columns = ['0hio','nevada'])right2 = pd.DataFrame(np.arange(7,15).reshape(4,2),index = ['b','c','d','e'],columns = ['misso','ala'])left2 ?0hionevadaabe

0	1
2	3
4	5

right2 ?missoalabcde

7	8
9	10
11	12
13	14

pd.merge(left2,right2,left_index = True,right_index = True,how = 'outer') ?0hionevadamissoalaabcde

0.0	1.0	NaN	NaN
2.0	3.0	7.0	8.0
NaN	NaN	9.0	10.0
NaN	NaN	11.0	12.0
4.0	5.0	13.0	14.0

3）軸向連接

在這里展示一種新的連接方法，對應(yīng)于numpy的concatenate函數(shù)，pandas有concat函數(shù)

#numpy arr =np.arange(12).reshape(3,4) arr array([[ 0, 1, 2, 3],[ 4, 5, 6, 7],[ 8, 9, 10, 11]]) np.concatenate([arr,arr],axis = 1)#橫軸連接塊 array([[ 0, 1, 2, 3, 0, 1, 2, 3],[ 4, 5, 6, 7, 4, 5, 6, 7],[ 8, 9, 10, 11, 8, 9, 10, 11]])

concat函數(shù)參數(shù)表格

參數(shù)說明

objs	參與連接的列表或字典，且列表或字典里的對象是pandas數(shù)據(jù)類型，唯一必須給定的參數(shù)
axis=0	指明連接的軸向，0是縱軸，1是橫軸，默認是0
join	‘inner’（交集），‘outer’（并集），默認是‘outer’指明軸向索引的索引是交集還是并集
join_axis	指明用于其他n-1條軸的索引（層次化索引，某個軸向有多個索引），不執(zhí)行交并集
keys	與連接對象有關(guān)的值，用于形成連接軸向上的層次化索引（外層索引），可以是任意值的列表或數(shù)組、元組數(shù)據(jù)、數(shù)組列表（如果將levels設(shè)置成多級數(shù)組的話）
levels	指定用作層次化索引各級別（內(nèi)層索引）上的索引，如果設(shè)置keys的話
names	用于創(chuàng)建分層級別的名稱，如果設(shè)置keys或levels的話
verify_integrity	檢查結(jié)果對象新軸上的重復(fù)情況，如果發(fā)橫則引發(fā)異常，默認False，允許重復(fù)
ignore_index	不保留連接軸上的索引，產(chǎn)生一組新索引range（total_length）

s1 = pd.Series([0,1,2],index = ['a','b','c'])s2 = pd.Series([2,3,4],index = ['c','f','e'])s3 = pd.Series([4,5,6],index = ['c','f','g']) pd.concat([s1,s2,s3])#默認并集、縱向連接 a 0 b 1 c 2 c 2 f 3 e 4 c 4 f 5 g 6 dtype: int64 pd.concat([s1,s2,s3],ignore_index = True)#生成縱軸上的并集，索引會自動生成新的一列 0 0 1 1 2 2 3 2 4 3 5 4 6 4 7 5 8 6 dtype: int64 pd.concat([s1,s2,s3],axis = 1,join = 'inner')#縱向取交集,注意該方法對對象表中有重復(fù)索引時失效 ?012c

2	2	4

pd.concat([s1,s2,s3],axis = 1,join = 'outer')#橫向索引取并集，縱向索引取交集,注意該方法對對象表中有重復(fù)索引時失效 ?012abcefg

0.0	NaN	NaN
1.0	NaN	NaN
2.0	2.0	4.0
NaN	4.0	NaN
NaN	3.0	5.0
NaN	NaN	6.0

concat函數(shù)小結(jié)

1）縱向連接，ignore_index = False ,可能生成重復(fù)的索引

2）橫向連接時，對象索引不能重復(fù)

4）合并重疊數(shù)據(jù)

適用范圍：

1）當(dāng)兩個對象的索引有部分或全部重疊時

2）用參數(shù)對象中的數(shù)據(jù)為調(diào)用者對象的缺失數(shù)據(jù)‘打補丁’

a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],index = ['a','b','c','d','e','f'])b = pd.Series(np.arange(len(a)),index = ['a','b','c','d','e','f']) a a NaN b 2.5 c NaN d 3.5 e 4.5 f NaN dtype: float64 b a 0 b 1 c 2 d 3 e 4 f 5 dtype: int32 a.combine_first(b)#利用b填補了a的空值 a 0.0 b 2.5 c 2.0 d 3.5 e 4.5 f 5.0 dtype: float64 a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],index = ['g','b','c','d','e','f']) a.combine_first(b)#部分索引重疊 a 0.0 b 2.5 c 2.0 d 3.5 e 4.5 f 5.0 g NaN dtype: float64

小結(jié)

本篇博客主要講述了一下內(nèi)容：

1） merge函數(shù)合并數(shù)據(jù)集

2）concat函數(shù)合并數(shù)據(jù)集

3）combine_first函數(shù)，含有重疊索引的缺失值填補

總結(jié)

以上是生活随笔為你收集整理的python科学计算笔记（十三）pandas的merge、concat合并数据集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。