問題描述

本人想實(shí)現(xiàn)一個(gè)基礎(chǔ)的多線程爬蟲，初步想法是篩選目錄中多個(gè)電影標(biāo)題是否有關(guān)鍵字，沒有的話就進(jìn)入到詳情頁中查找電影類別中是否有關(guān)鍵字。下面是一部分代碼:

executor = ThreadPoolExecutor(max_workers=5) #Future模塊的多線程executor.map(get_page,whole) #get_page()為篩選標(biāo)題的函數(shù)time.sleep(5)while not que.empty(): que_data = que.get() filter(que_data) #filter()為篩選分類關(guān)鍵字的函數(shù),但每次五個(gè)線程同時(shí)訪問同一個(gè)url

但現(xiàn)在每次多個(gè)線程同時(shí)調(diào)用queue中的同一個(gè)url，請問有什么解決辦法嗎

問題解答

專門用一個(gè)線程讀取queue中的url，然后分配給某個(gè)線程

對該queue的訪問加鎖