python list tuple 消耗_Python内存消耗:dict VS元组列表
在這種情況下,你實際上得到了一個不完整的內存使用圖片。字典的總大小以不規(guī)則的間隔增加一倍以上,如果在字典大小增加后比較這兩個結構的大小,它會再次變大。一個帶有遞歸大小函數(shù)的簡單腳本(見下面的代碼)顯示了一個非常清晰的模式:i: 2 list size: 296 dict size: 328 difference: -32
i: 3 list size: 392 dict size: 352 difference: 40
i: 4 list size: 488 dict size: 376 difference: 112
i: 5 list size: 616 dict size: 400 difference: 216
i: 7 list size: 808 dict size: 1216 difference: -408
i: 10 list size: 1160 dict size: 1288 difference: -128
i: 13 list size: 1448 dict size: 1360 difference: 88
i: 17 list size: 1904 dict size: 1456 difference: 448
i: 23 list size: 2480 dict size: 3904 difference: -1424
i: 31 list size: 3328 dict size: 4096 difference: -768
i: 42 list size: 4472 dict size: 4360 difference: 112
i: 56 list size: 5912 dict size: 4696 difference: 1216
i: 74 list size: 7880 dict size: 5128 difference: 2752
i: 100 list size: 10520 dict size: 14968 difference: -4448
i: 133 list size: 14024 dict size: 15760 difference: -1736
i: 177 list size: 18672 dict size: 16816 difference: 1856
這種模式隨著i的增長而繼續(xù)。(您可以使用您的方法對此進行測試——嘗試在2636744附近設置i。字典的大小在那一點上更大,至少對我來說是這樣的。)Martijn正是元組列表中的元組增加了內存開銷,抵消了列表相對于字典的內存優(yōu)勢。但平均來說,結果并不是字典更好,而是字典差不多一樣。所以在回答你最初的問題時:When you want to store LOTS of key-value data in memory, which data structure is more memory-efficient, a dict or a list of tuples?
如果你只關心記憶,那其實并不重要。
但是,請注意,遍歷字典通常比遍歷列表慢一點,因為沒有好的方法可以避免遍歷字典中的所有空容器。所以有一個折衷的辦法——字典在隨機鍵查找上要快得多,而列表在迭代上要快得多。字典在大多數(shù)情況下可能會更好,但在一些罕見的情況下,列表可能會提供微觀優(yōu)化。
這是測試大小的代碼。它可能不會為所有的角點情況生成正確的結果,但是它應該處理這樣的簡單結構而不會有任何問題。(但如果你發(fā)現(xiàn)任何問題,請告訴我。)import sys, collections, itertools, math
def totalsize(x):
seen = set()
return ts_rec(x, seen)
def ts_rec(x, seen):
if id(x) in seen:
return 0
else:
seen.add(id(x))
x_size = sys.getsizeof(x)
if isinstance(x, collections.Mapping):
kv_chain = itertools.chain.from_iterable(x.iteritems())
return x_size + sum(ts_rec(i, seen) for i in kv_chain)
elif isinstance(x, collections.Sequence):
return x_size + sum(ts_rec(i, seen) for i in x)
else:
return x_size
for i in (10 ** (e / 8.0) for e in range(3, 19)):
i = int(i)
lsize = totalsize([(x, x) for x in xrange(i)])
dsize = totalsize(dict((x, x) for x in xrange(i)))
print "i: ", i,
print " list size: ", lsize, " dict size: ", dsize,
print " difference: ", lsize - dsize
總結
以上是生活随笔為你收集整理的python list tuple 消耗_Python内存消耗:dict VS元组列表的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: html jquery 模板,用模版生成
- 下一篇: 关于 NODE.js 并行线程 wor