文章詳情頁
python - 使用scrapy框架爬百度圖片被墻
瀏覽：79日期：2022-06-30 14:19:37
問題描述
請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。
https://image.baidu.com/searc...
問題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會被墻。可采用scrapy+selenium+phantomjs的方式。
相關文章：
1. docker gitlab 如何git clone？2. 關于docker下的nginx壓力測試3. angular.js - angularjs的自定義過濾器如何給文字加顏色？4. docker不顯示端口映射呢？5. nignx - docker內nginx 80端口被占用6. javascript - windows下如何使用babel，遇到了困惑7. dockerfile - [docker build image失敗- npm install]8. debian - docker依賴的aufs-tools源碼哪里可以找到啊？9. 老師您的微信號是多少？10. 在windows下安裝docker Toolbox 啟動Docker Quickstart Terminal 失敗！
排行榜
網公網安備