pandas 合并数据
生活随笔
收集整理的這篇文章主要介紹了
pandas 合并数据
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
pandas合并數據使用append。比如我要合并一個文件夾里面所有的pic類型的數據,那么先使用os模塊,把所有文件名列出,
然后依次讀入成dataframe, 讀入過程中,一次append,
如果批量合并數據,并且數據列都是相同的,那么直接使用
append就可以了。
首先建立一個空空的數據表,
然后利用for循環,把數據表一個一個追加到df里面。最后形成的就是合并的總數據。
import os os.listdir("dcy") #數據集中最后一個不是數據文件 dcy_dir = os.listdir('dcy')[:-1] dcy_dir #dcy_data 是一個目錄列表 dcy_data = []for i in range(len(dcy_dir)):dcy_data.append(dcy_dir[i]) #查看列表的文件名 dcy_data[1] len(dcy_data) #建立一個空數據 data = pd.DataFrame() #合并,每讀一次,保留需要的列 for pic in dcy_data:df_pic = pd.read_pickle('dcy/{}'.format(pic))df_pic['ld_name'] = picdf_pic = df_pic[["fid","ld_name", "subject", "content", "dateline", "stateInfo", "traceInfo", "domainName", "typeName", "title", "post_content", "reply_time", "reply_content", "comments_list", "sat_lsit", "score_list"]]data = data.append(df_pic) #查看 data.shapedata.iloc[10, ]總結
以上是生活随笔為你收集整理的pandas 合并数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 天逸310怎么开机 天逸310开机指南
- 下一篇: python分析双十一销量