目錄

缺失值處理

拉格朗日差值法的理論基礎

拉格朗日插值法代碼實現(xiàn)

其他數(shù)據(jù)預處理方法

---

缺失值處理

處理缺失值常用的辦法可分為三類：刪除記錄、數(shù)據(jù)插補、不處理。

其中常見的數(shù)據(jù)插補法有：

如果通過刪除小部分的數(shù)據(jù)就可以達到既定的目標，且不會影響結(jié)果的準確性，那么這無疑是最簡單有效的。但是，在不了解情況的時候還是不要這樣冒險比較好，因為刪除數(shù)據(jù)是所有老板最不愿意看見的，不但浪費了很大的資源，也丟棄了大量有可能隱藏在缺失值記錄中的信息。

這里我們主要說一說拉格朗日插值法，主要講這個方法，是因為大學數(shù)值分析課上，認為這個方法最好，哈哈，其他方法有興趣的同學也可以試一試。除了拉格朗日插值法，還有牛頓插值法、Hermite插值法、分段插值法和樣條插值法。

拉格朗日插值法在理論分析中很方便，因為他的公式結(jié)構(gòu)緊湊。但是在實際應用中，如果存在差值節(jié)點經(jīng)常增減變化時，拉格朗日插值法的插值多項式也需要隨之變化，遇見數(shù)據(jù)源比較大的時候，這難免有些浪費時間，這個時候，其實牛頓插值法更加適用。

拉格朗日差值法的理論基礎

偷懶不愿敲公式，所以直接拋了一個截圖，見諒見諒。

拉格朗日插值法代碼實現(xiàn)

數(shù)據(jù)源大概是這樣的：

time	count
2018/5/1	106684
2018/5/2	106644
2018/5/3	176520
2018/5/4	152311
2018/5/5	160264
2018/5/6
2018/5/7	182263
2018/5/8	172887
2018/5/9	160264
2018/5/10	152704
2018/5/11	110049
2018/5/12	136951
2018/5/13
2018/5/14	143165
2018/5/15	136951
2018/5/16
2018/5/17	135287

黃色部分是缺失值，需要通過其前后的數(shù)據(jù)進行插補，下面是代碼實現(xiàn)了。

# -*- coding: utf-8 -*- #拉格朗日法插補空缺值import pandas as pd #導入pandas庫 from scipy.interpolate import lagrange #導入拉格朗日函數(shù)inputfile = u'E:\\pythondata\\cjm5.xlsx' outputfile = u'E:\\pythondata\\cjm5_1.xlsx'data= pd.read_excel(inputfile) data[u'count'][(data[u'count']<100000) | (data[u'count']>200000)] = None #將異常值清空def ployinterp_column(s,n,k=2): #k=2表示用空值的前后兩個數(shù)值來擬合曲線，從而預測空值y = s[list(range(n-k,n)) + list(range(n+1,n+1-k))] #取值，range函數(shù)返回一個左閉右開（[left,right)）的序列數(shù)y = y[y.notnull()]#取上一行中取出數(shù)值列表中的非空值，保證y的每行都有數(shù)值，便于擬合函數(shù)return lagrange(y.index,list(y))(n) #調(diào)用拉格朗日函數(shù)，并添加索引for i in data.columns: #如果i在data的列名中，data.columns生成的是data的全部列名for j in range(len(data)): #len(data)返回了data的長度，若此長度為5，則range(5)會產(chǎn)生從0開始計數(shù)的整數(shù)列表if (data[i].isnull())[j]:#如果data[i][j]為空，則調(diào)用函數(shù)ployinterp_column為其插值data[i][j] = ployinterp_column(data[i],j)data.to_excel(outputfile) #將完成插值后的data寫入excel print("拉格朗日法插補完成，插補后的文件位于："+str(outputfile))

?代碼運行結(jié)束后會將插補完成的excel文件存在既定的位置（代碼中outputfile的位置），我們通過k的值來表示通過缺失值前多少個數(shù)值來插補，下面是通過k=2和k=3插補的結(jié)果，我們把它畫在一個折線圖中，直觀的判斷哪一個k值是更加符合業(yè)務實際情況的。

其他數(shù)據(jù)預處理方法

連續(xù)數(shù)據(jù)離散化（等寬、等頻、聚類離散）

清洗重復數(shù)據(jù)

數(shù)據(jù)預處理 - 歸一化與標準化

總結(jié)

以上是生活随笔為你收集整理的缺失值处理 - 拉格朗日插值法 - Python代码的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。