本章概要

1、去重
2、缺失值處理
3、清洗字符型數(shù)據(jù)的空格
4、字段抽取

去重

• 把數(shù)據(jù)結(jié)構(gòu)中，行相同的數(shù)據(jù)只保留一行

• 函數(shù)語法：

  • drop_duplicates()

#導(dǎo)入pandas包中的read_csv函數(shù) from pandas import read_csv df=read_csv('路徑')#找出行重復(fù)的位置 dIndex=df.duplicated()#也可根據(jù)某些列，找出重復(fù)的位置 dIndex=df.duplicated('age') dIndex=df.duplicated(['age','name'])#根據(jù)返回值，把重復(fù)數(shù)據(jù)提取出來 df[dIndex]#默認(rèn)根據(jù)所有的列，進(jìn)行刪除,注意這里是duplicates newdf=df.drop.duplicates()#也可以指定莫一列，進(jìn)行重復(fù)值刪除 newdf=df.drop.duplicates('age')

缺失值處理

缺失數(shù)據(jù)的產(chǎn)生

• 數(shù)據(jù)暫時(shí)無法獲取

  • 比如未成年兒童的收入等

• 有些數(shù)據(jù)被遺漏或錯(cuò)誤處理了

缺失數(shù)據(jù)的處理方式

缺失數(shù)據(jù)在實(shí)際工作中，是不可避免的，本部分還是很重要的

• 數(shù)據(jù)補(bǔ)齊

  • 用一定的值去填充空值，使數(shù)據(jù)完備化，如平均值填充等等

• 刪除對應(yīng)缺失行

• 不處理

如何刪除缺失數(shù)據(jù)的所在行

在python中，使用dropna函數(shù)進(jìn)行缺失數(shù)據(jù)的清洗

• dropna函數(shù)作用：去除數(shù)據(jù)結(jié)構(gòu)中值為空的數(shù)據(jù)

• dropna函數(shù)語法：dropna()

# 首先導(dǎo)入數(shù)據(jù)文件，輸出df變量 from pandas import read_csv df=read_csv('路徑')

在pandas的數(shù)據(jù)框中，缺失值用NaN來標(biāo)注

# 把之前數(shù)據(jù)為空的，換成a,b,可以把a(bǔ)、b指定為NaN值，作用是可以把不不要的數(shù)據(jù)替換成缺失值，然后處理，使用的是read的na_values函數(shù) df=read_csv('路徑'，na_values=['a','b']) # 找出NaN所在的行，通過isnull方法獲取數(shù)據(jù)框中某個(gè)位置的值是否為NaN值 isNA=df.isnull()

• 如何數(shù)據(jù)框?qū)?yīng)的位置是NaN值，那么isnull方法對應(yīng)的就是布爾值True,根據(jù)這個(gè)特征，就可以使用數(shù)據(jù)框的行獲取方法，獲取出NaN值所在的行

#獲取空值所在的行 #首先獲取所有的列，只要獲取到NaN了，就認(rèn)為這行有NaN值了 #使用any方法，就可以實(shí)現(xiàn)這種選擇效果 df[isNA.any(axis=1)]

#如何要特定某列的NaN值，定位后在用any的方法就可以了 df[isNA[['gender']].any(axis=1)]

• 特別注意定位gender的字符串有兩個(gè)中括號，不能是一個(gè)

#直接刪除空值 newdf=df.dropna()

清洗字符型數(shù)據(jù)的空格

• strip函數(shù)作用：清除字符型數(shù)據(jù)左右的空格

• strip函數(shù)語法：strip()

#打開數(shù)據(jù)文件 from pandas import read_csv df=read_csv('路徑')#清除字符串左邊的空格 newname=df['name'].str.lstrip() #清除字符串右邊的空格 newname=df['name'].str.rstrip() #清除字符串左、右邊的空格 newname=df['name'].str.strip()#把清洗后的數(shù)據(jù)放回原來的列 df['name']=newname

字段抽取

• 字段抽取，是根據(jù)已知列數(shù)據(jù)的開始和結(jié)束位置，抽取出新的列

• 字段截取函數(shù)：slice(start開始位置，stop結(jié)束位置)

  • 與數(shù)據(jù)結(jié)構(gòu)的訪問方式一樣，開始位置是從0開始的，開始位置是大于等于，結(jié)束位置是小于，不能取等于

  • slice函數(shù)默認(rèn)只能處理字符型數(shù)據(jù)，如要處理數(shù)字型數(shù)據(jù)，必須進(jìn)行轉(zhuǎn)化

轉(zhuǎn)載于:https://www.cnblogs.com/shujufenxi/p/9054459.html

總結(jié)

以上是生活随笔為你收集整理的第三章 python数据规整化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。