python多進程執行方法apply_async使用說明
python在同一個線程中多次執行同一方法時,該方法執行耗時較長且每次執行過程及結果互不影響,如果只在主進程中執行,效率會很低,因此使用multiprocessing.Pool(processes=n)及其apply_async()方法提高程序執行的并行度從而提高程序的執行效率,其中processes=n為程序并行執行的進程數。
apply_async使用簡明代碼import multiprocessing#method為多次調用的方法def method(param): passif __name__ == ’__main__’: pool = multiprocessing.Pool(processes=5) params= [’param1’, ’param2’, ’param3’, ’param4’, ’param5’] for param in params: pool.apply_async(method, args=(param, )) pool.close()使用總結:
apply_async是異步非阻塞式,不用等待當前進程執行完畢,隨時跟進操作系統調度來進行進程切換,即多個進程并行執行,提高程序的執行效率。
補充:記錄python multiprocessing Pool的map和apply_async方法
遇到的問題在學習python多進程時,進程上運行的方法接收多個參數和多個結果時遇到了問題,現在經過學習在這里總結一下
Pool.map()多參數任務在給map方法傳入帶多個參數的方法不能達到預期的效果,像下面這樣
def job(x ,y): return x * yif __name__ == '__main__': pool = multiprocessing.Pool() res = pool.map(job, 2, 3) print res
所以只能通過對有多個參數的方法進行封裝,在進程中運行封裝后的方法如下
def job(x ,y): return x * ydef job1(z): return job(z[0], z[1])if __name__ == '__main__': pool = multiprocessing.Pool() res = pool.map(job1, [(2, 3), (3, 4)]) print res
這樣就能達到傳遞多個參數的效果
ps:如果需要得到多個結果可以傳入多個元組在一個列表中
Pool.apply_async()輸出多個迭代結果在使用apply_async()方法接收多個參數的方法時,在任務方法中正常定義多個參數,參數以元組形式傳入即可
但是給apply_async()方法傳入多個值獲取多個迭代結果時就會報錯,因為該方法只能接收一個值,所以可以將該方法放入一個列表生成式中,如下
def job(x): return x * xif __name__ == '__main__': pool multiprocessing.Pool() res = [pool.apply_async(target=job, (i,)) for i in range(3)] print [r.get() for r in res]
python 3中提供了starmap和startmap_async兩個方法
以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。
相關文章: