from pandas import Series,DataFrame #注意大小寫

import pandas as pd

Series的字符串表現(xiàn)形式為：索引在左邊，值在右邊。

可以通過Series的values和index屬性獲得其數(shù)組表現(xiàn)形式和索引對象。

與普通Numpy數(shù)組相比，可以通過索引的方式選取Series中的單個(gè)或一組值。

DataFrame 是一個(gè)表格型的數(shù)據(jù)結(jié)構(gòu)，它含有一組有序的列，每列可以是不同的值類型。它既有行索引也有列索引。

構(gòu)建DataFrame的方法很多，最常用的是直接傳入一個(gè)由等長列表或者numpy數(shù)組組成的字典，并且會(huì)自動(dòng)加上索引列。也可以指定列順序。

data = {'state':['Ohio','Ohio','Ohio','Nevada','Nevada'],'year':[2000,2001,2002,2001,2002],'pop':[1.5,1.7,3.6,2.4,2.9]}

frame=DataFrame(data)

DataFrame(data,cloums=['year','state','pop'])

注：通過索引方式返回的列只是相應(yīng)數(shù)據(jù)的視圖而已，因此，對返回的series所做的任何修改都會(huì)反映到源DataFrame上。通過Series的copy方法即可顯式地復(fù)制列。

reindex

創(chuàng)建一個(gè)適應(yīng)新索引的新對象，即會(huì)根據(jù)新索引進(jìn)行重排，如果某個(gè)索引值當(dāng)前不存在，就引入缺失值。

參數(shù)

說明

ffill或pad

前向填充

bfill或backfill

后向填充

pandas對象擁有一組常用的數(shù)學(xué)和統(tǒng)計(jì)方法。它們大部分都屬于約簡和匯總統(tǒng)計(jì)，用于從Series中提取單個(gè)值或從DataFrame的行或列中提取一個(gè)Series。跟對應(yīng)的Numpy數(shù)組方法相比，它們都是基于沒有缺失數(shù)據(jù)的假設(shè)而構(gòu)建的。

.describe 一次性產(chǎn)生多個(gè)匯總統(tǒng)計(jì).

利用DataFrame的corrwith方法，可以計(jì)算其列和行與另一個(gè)列或者行之間的相關(guān)系數(shù)。

唯一值

obj = Series(['c','a','d','a','a','b','b','c','c'])

uniques=obj.unique()

uniques

輸出 array([c,a,d,b], dtype=object)

返回的唯一值是未排序的，如果需要的話，可以對結(jié)果再次排序( uniques.sort() )。

value_counts用于計(jì)算一個(gè)Series中各值出現(xiàn)的頻率。是一個(gè)頂級pandas方法，可以用于任何數(shù)組或序列。

Pandas對象上的所有描述和統(tǒng)計(jì)都排除了缺失數(shù)據(jù)，即浮點(diǎn)值NaN和None。

1. dropna 過濾缺失數(shù)據(jù)。對于一個(gè)Series，dropna返回一個(gè)僅含有非空數(shù)據(jù)和索引值的Series。?data.dropna()

2. 使用布爾型索引? data[data.notnull()]

而對于DataFrame對象，事情有些復(fù)雜，dropna默認(rèn)丟棄任何含有缺失值的行。而加上 data.dropna(how='all')將只丟棄全為NA的行。丟棄列的話只需傳入axis=1

另一個(gè)濾除DataFrame行的問題涉及時(shí)間序列數(shù)據(jù)，如果只想留下一部分觀測數(shù)據(jù)，可以使用thresh參數(shù)實(shí)現(xiàn)。

填充缺失數(shù)據(jù)

fillna(0)可以將缺失值替換成常數(shù)值，0可以換。如果是通過一個(gè)字典調(diào)用的fillna，則可實(shí)現(xiàn)對不同列填充不同的值。df.fillna({1: 0.5, 3: -1}) 給第二列空值賦 0.5，第4列賦-1。 也可以傳入series的平均值，中位值，向下向上填充等等。

層次化索引

在數(shù)據(jù)重塑和基于分組的操作中很重要。在一個(gè)軸上擁有多個(gè)索引。

pandas 自動(dòng)類型轉(zhuǎn)化 TextParser類。

1 from pandas.io.parsers importTextParser2

3 defparse_option_data(tabl):4 rows = table.findall('.//tr')5 header = _unpack(rows[0], kind='th')6 data = [_unpack(r) for r in rows[1:]]7 return TextParser(data, names = header).get_chunk()

離散化和面元(bin)劃分

要實(shí)現(xiàn)該功能，需要使用pandas的cut函數(shù)：

1 ages = [20,22,25,27,21,23,37,31,61,45,41,32]2 bins = [18,25,35,69,100]3 cats=pd.cut(ages,bins)4 pd.value_counts(cats)5

6 output:(18, 25] 5

7 (35, 69] 4

8 (25, 35] 3

9 (69, 100] 010 dtype: int64

如果向cut傳入的是面元的數(shù)量而不是確切的面元邊界，則它會(huì)根據(jù)數(shù)據(jù)的最小值和最大值計(jì)算等長面元。下面的例子將一些均勻分布的數(shù)據(jù)分為四組：

1 data=np.random.rand(20)2 pd.cut(data,4,precision=2)--精確兩位小數(shù)

qcut是類似于cut的函數(shù)，根據(jù)樣本分位數(shù)進(jìn)行面元?jiǎng)澐?#xff0c;可以保證每個(gè)面元中含有相同數(shù)量的數(shù)據(jù)點(diǎn)。

這兩個(gè)離散化函數(shù)對于分量和分組分析非常重要。

異常值，也叫孤立點(diǎn)或者離群值，它的過濾或者變換很大程度上其實(shí)是數(shù)組運(yùn)算。下面看一個(gè)含有正態(tài)分布數(shù)據(jù)的DataFrame：

1 np.random.seed(12345)2 data=DataFrame(np.random.randn(1000,4))3 data.describe()

總結(jié)

以上是生活随笔為你收集整理的python pandas教程百家号_python--学习笔记6 pandas的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。