文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽：89日期：2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因為有些網頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋
問題解答
回答1：這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度，rate 是 每秒抓取的數量，burst 是并發的數量，默認是 1/3 所以比較慢，還是對這個工具了解不夠呀
回答2：我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，并發寫起來，模型越復雜(如線程控制，線程狀態監控)，效率是越低的。
相關文章：
1. 一個走錯路的23歲傻小子的提問2. angular.js - angularjs 使用鼠標懸停時，標簽一直閃3. 我在centos容器里安裝docker，也就是在容器里安裝容器，報錯了？4. 在mac下出現了兩個docker環境5. angular.js - angularjs的自定義過濾器如何給文字加顏色？6. c++ - win764位環境下，我用GCC為什么指針占8個字節，而long是4個字節？7. java - Hibernate查詢的數據是存放在session中嗎？8. python 計算兩個時間相差的分鐘數，超過一天時計算不對9. html5 - HTML代碼中的文字亂碼是怎么回事？10. python - django 里自定義的 login 方法，如何使用 login_required()
排行榜
網公網安備