文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽：92日期：2022-08-06 15:07:58
問題描述
下載了一小部分之后就不動了，stop之后重新跑也沒有任何反應，有人知道是怎么回事嗎？謝謝大家。
問題解答
回答1：放代碼吧 騷年
回答2：根據 dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的
因為默認的隊列容量為 100，這說明在 processor 發生了堵塞，那就要看 processor 在干什么，是不是死掉了。
相關文章：
1. 一個mysql聯表查詢的問題2. mysql - 一個表和多個表是多對多的關系，該怎么設計3. 運行python程序時出現“應用程序發生異常”的內存錯誤？4. html5 - iOS的webview加載出來的H5網頁，怎么修改html標簽select的樣式字體？5. python如何不改動文件的情況下修改文件的 修改日期6. javascript - git clone 下來的項目 想在本地運行 npm run install 報錯7. java - 我現在一個servlet中有調用socket訪問，作為socket的客戶端，8. 主從備份 - 跪求mysql 高可用主從方案9. mysql主從 - 請教下mysql 主動-被動模式的雙主配置 和 主從配置在應用上有什么區別？10. python 如何實現PHP替換圖片 鏈接
排行榜
網公網安備