1、缺失數據的處理

1.1、判斷是否為nan

isnull： 是nan為true
notnull： 不是nan為true

import pandas as pd import numpy as npt3 = pd.DataFrame(np.arange(12).reshape(3,4), index=list("abc"), columns=list("wxyz")) print(t3) """w x y z a 0 1 2 3 b 4 5 6 7 c 8 9 10 11 """ t3.iloc[1:,:2] = np.nan print(t3) """w x y z a 0.0 1.0 2 3 b NaN NaN 6 7 c NaN NaN 10 11 """ print(pd.isnull(t3)) """w x y z a False False False False b True True False False c True True False False """ print(pd.notnull(t3)) """w x y z a True True True True b False False True True c False False True True """ print(t3[pd.notnull(t3["w"])]) """w x y z a 0.0 1.0 2 3 """

1.2、刪除為nan的行 或 列

https://www.runoob.com/pandas/pandas-cleaning.html
dropna(axis=0,how=“any”, thresh=None,subset=None，inplace=False)

dropna 刪除為nan 的 行或者 列 ;
axis=0 刪除行 axis=1 刪除列
how=“all” 全為nan 的刪除， how=“any” 有一個為nan的就刪除
inplace=True 就地修改，修改后直接會修改原數據，默認為 False，類似于 t3 = t3.dropna(axis=0, how=“any”)

print(t3.dropna(axis=0, how="all")) """w x y z a 0.0 1.0 2 3 b NaN NaN 6 7 c NaN NaN 10 11 """ print(t3.dropna(axis=0, how="any")) """w x y z a 0.0 1.0 2 3 """

1.3、為nan 填充數據

print(t3) """w x y z a 0.0 1.0 2 3 b NaN NaN 6 7 c NaN NaN 10 11 """ # 填充固定數字 print(t3.fillna(10)) """w x y z a 0.0 1.0 2 3 b 10.0 10.0 6 7 c 10.0 10.0 10 11 """ # 填充均值 print(t3.fillna(t3.mean())) """w x y z a 0.0 1.0 2 3 b 0.0 1.0 6 7 c 0.0 1.0 10 11 """ # 只對某一列 填充均值 print(t3["x"].fillna(t3["x"].mean())) """ a 1.0 b 1.0 c 1.0 Name: x, dtype: float64 """ t3["x"] = t3["x"].fillna(t3["x"].mean()) print(t3) """w x y z a 0.0 1.0 2 3 b NaN 1.0 6 7 c NaN 1.0 10 11 """ """ 算均值時 pandas 不會把 nan 的算進去 但是 nunpy 會把nan 的算進去 """ print(np.array([[1,6,5,np.nan],[1,6,5,np.nan]]).mean()) # nan print(np.array([[1,1,1,1],[2,2,2,2]]).mean()) # 1.5

不要隨便把nan賦值為0，不然計算均值 等值時，pandas會把它計算在內
算均值時 pandas 不會把 nan 的算進去，但是 nunpy 會把nan 的算進去

1.4、清洗重復數據

https://www.runoob.com/pandas/pandas-cleaning.html

import pandas as pdperson = {"name": ['Google', 'Runoob', 'Runoob', 'Taobao'],"age": [50, 40, 40, 23] } df = pd.DataFrame(person)print(df.duplicated()) """ 0 False 1 False 2 True 3 False dtype: bool """

刪除重復數據，可以直接使用drop_duplicates() 方法。

import pandas as pdpersons = {"name": ['Google', 'Runoob', 'Runoob', 'Taobao'],"age": [50, 40, 40, 23] }df = pd.DataFrame(persons)df.drop_duplicates(inplace = True) print(df) """name age 0 Google 50 1 Runoob 40 3 Taobao 23 """

視頻順序錯位 30–》29–》42
https://www.kaggle.com/damianpanek/sunday-eda/data

https://www.bilibili.com/video/BV1hx411d7jb?p=32

https://www.bilibili.com/video/BV1hx411d7jb?p=28
https://www.bilibili.com/video/BV1hx411d7jb?p=30
https://www.bilibili.com/video/BV1hx411d7jb?p=29
https://www.bilibili.com/video/BV1hx411d7jb?p=42
https://www.bilibili.com/video/BV1hx411d7jb?p=31

總結

以上是生活随笔為你收集整理的python3-pandas 缺失数据的处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。