文章詳情頁(yè)
python - scrapy抓取知網(wǎng)response的內(nèi)容重復(fù)
瀏覽：72日期：2022-06-27 08:47:44
問題描述
遍歷請(qǐng)求翻頁(yè)的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結(jié)果response請(qǐng)求成功 但是每次內(nèi)容都一樣的沒變化都是第一次請(qǐng)求時(shí)的內(nèi)容，但是用postman分別請(qǐng)求分頁(yè)的url就沒有這問題。= = 是被ban了嗎 之前就不會(huì)這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時(shí)請(qǐng)求的header頭和用scrapy請(qǐng)求頭有什么區(qū)別
回答2：被反爬識(shí)別到了
回答3：看下控制臺(tái)打印的log，看看是否正確抓取了下一頁(yè)2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個(gè)x(http:xx/page/x)是否是變化的
相關(guān)文章：
1. node.js - ionic2 創(chuàng)建項(xiàng)目 ionic server 報(bào)這個(gè)錯(cuò) 有朋友可以幫忙看看嗎！2. android - 在搜索時(shí)如何隱藏底部BottomNavigationBar3. 關(guān)于Mysql聯(lián)合查詢4. javascript - 在top.jsp點(diǎn)擊退出按鈕后，right.jsp進(jìn)行頁(yè)面跳轉(zhuǎn)，跳轉(zhuǎn)到login.jsp5. java - 白盒加密源碼或者庫(kù)6. python - 關(guān)于beautifulsoup獲取文檔內(nèi)容7. mysql里的大表用mycat做水平拆分，是不是要先手動(dòng)分好，再配置mycat8. android - WebView偶爾無法加載，沒有發(fā)起請(qǐng)求9. javascript - 這種布局該怎么實(shí)現(xiàn)最自然？10. linux - 下面這條shell命令怎么用python寫啊？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備