功能：list里面的每一個元素都是dict，根據(jù)dict某一個key進行去重

from itertools import compress import pandas as pd from operator import itemgetter from itertools import groupby #功能：list里面的每一個元素都是dict，根據(jù)dict某一個key進行去重 #函數(shù)1 def distinct(items,key):key = itemgetter(key)items = sorted(items, key=key)return [next(v) for _, v in groupby(items, key=key)] #函數(shù)2 #def distinct(items,key): # mask = (~pd.Series(map(itemgetter(key), items)).duplicated()).tolist() # return list(compress(items, mask)) with open("/data/fjs/data/math/math.json",'r') as load_f:items = json.load(load_f)print (len(items))#去重前條目items =distinct(items,'quid')#去重key=quidprint (len(items))#去重后條目 去重前條目：850000 去重后條目：50016

總結(jié)

以上是生活随笔為你收集整理的Python含dict的list去重的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。