python3.x pool.map方法的实质
生活随笔
收集整理的這篇文章主要介紹了
python3.x pool.map方法的实质
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
我使用多進程的一般方式,都是multiprocessing模塊中的Pool.map()方法。下面寫一個簡單的示例和解析。至于此種方法使用多進程的效率問題,還希望大佬予以指正。
示例:
""" 探索pool.map多進程執行方式的實質 """from multiprocessing import Pool from time import sleep from datetime import datetimeclass forMap:def __init__(self):self.name = '沒啥用的初始化'def forPrinit(self, i):sleep(i)print(i)return i ** 2基本的代碼已經寫好,下面看看怎么使用多進程去執行。
執行示例1:
''' 遇到問題沒人解答?小編創建了一個Python學習交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯的視頻學習教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進程池中創建兩個進程,調用計算機的兩個內核去幫我做事。p = Pool(2)l = [2, 4, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進程執行時間:', e - s)運行結果:
2 4 6 [4, 16, 36] 多進程執行時間: 0:00:08.191251由于在進程池中創建了兩個進程,所以代碼會調用計算機的兩個內核。而列表l中的三個元素中的前兩個(“2”和“4”),會依次傳入函數中,由計算機內核A和B去執行。當某一個內核執行完,會繼續接收下一個傳入參數“6”函數。而且內核A執行的函數,只會sleep兩秒,所以,傳入參數“6”的函數會由內核A去執行。所以A一共執行了2 + 6 為8秒,又由于是并行,所以總的執行時間是8秒(多的那零點幾是初始化、賦值、打印等操作)。
執行示例2:
''' 遇到問題沒人解答?小編創建了一個Python學習交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯的視頻學習教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進程池中創建三個進程p = Pool(3)l = [2, 4, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進程執行時間:', e - s)執行結果:
2 4 6 [4, 16, 36] 多進程執行時間: 0:00:06.273263創建了三個進程 ,并行執行,所以執行時間是6秒
執行示例3:
''' 遇到問題沒人解答?小編創建了一個Python學習交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯的視頻學習教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進程池中創建三個進程p = Pool(3)l = [2, 4, 6, 8]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進程執行時間:', e - s)執行結果:
2 4 6 8 [4, 16, 36, 64] 多進程執行時間: 0:00:10.211451在列表中添加一個元素,首先內核A、B、C分別執行2, 4, 6。A先結束,所以8也會由A來執行。
執行示例4:
if __name__ == '__main__':s = datetime.now()tt = forMap()# 進程池中創建三個進程p = Pool(2)l = [2, 4, 8, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進程執行時間:', e - s)執行結果:
2 4 8 6 [4, 16, 64, 36] 多進程執行時間: 0:00:10.200389還是創建兩個進程,將列表中第3和第4個元素交換位置,執行結果為10秒多,而且返回值也是交換過位置之后的,說明map方法中,可迭代對象傳入函數是從前到后逐個提取元素。
總結
以上是生活随笔為你收集整理的python3.x pool.map方法的实质的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 13道Python3实例
- 下一篇: python基础教程:装饰器