文章詳情頁
python - 基于scrapy-redis的分布式爬蟲運行的時候不能正常運行 遇到的問題如下截圖所示
瀏覽：91日期：2022-08-03 11:20:00
問題描述
爬蟲運行時一直是這樣的每一分鐘出現一條這樣的信息，無限循環。不能爬取下來數據
這是redis服務端的顯示
這樣是什么問題，望有高手可以為我解惑，謝謝。
問題解答
回答1：使用scrapy_redis，你要去投放url讓spider去爬取，你投放了嗎？比如
redis-cli lpush myspider:start_urls http://google.com
相關文章：
1. mysql優化 - mysql count(id)查詢速度如何優化?2. mysql主從 - 請教下mysql 主動-被動模式的雙主配置 和 主從配置在應用上有什么區別？3. angular.js - angularjs 用ng-reapt渲染的dom 怎么獲取上面的屬性4. 主從備份 - 跪求mysql 高可用主從方案5. css3 - [CSS] 動畫效果 3D翻轉bug6. node.js - node_moduls太多了7. angular.js - Angular路由和express路由的組合使用問題8. python如何不改動文件的情況下修改文件的 修改日期9. python - django 里自定義的 login 方法，如何使用 login_required()10. angular.js - 不適用其他構建工具，怎么搭建angular1項目
排行榜
![css3 - [CSS] 動畫效果 3D翻轉bug](http://www.aoyou183.cn/attached/image/news/202304/110831f073.png)
網公網安備