文章詳情頁(yè)
python爬蟲防封IP的方法應(yīng)該放到代碼的哪個(gè)位置
瀏覽：61日期：2022-09-21 13:56:12
問題描述
想要爬豆瓣電影，但是很容易403，就想代理IP或者修改請(qǐng)求頭，但是看了很多資料，不知道他們那些代碼應(yīng)該放到整個(gè)程序的哪個(gè)位置，我用的是美麗湯和request，應(yīng)該增添什么代碼，增添到什么位置
問題解答
回答1：BeautifulSoup的中文名原來(lái)叫美麗湯。。。
吐槽完畢，服務(wù)端一般是通過(guò)IP報(bào)文來(lái)檢測(cè)請(qǐng)求的IP的地址的，所以單純的修改HTTP請(qǐng)求的內(nèi)容一般來(lái)說(shuō)是不起作用的，最好的方式是使用 Requests 的代理功能來(lái)進(jìn)行訪問，可以解除 IP 限制的問題。
回答2：請(qǐng)看看Python爬蟲聯(lián)想詞視頻和代碼https://zhuanlan.zhihu.com/p/...
跟黃哥學(xué)Python爬蟲抓取代理IP和驗(yàn)證。https://zhuanlan.zhihu.com/p/...跟黃哥學(xué)Python爬蟲抓取代理IPhttps://zhuanlan.zhihu.com/p/...
相關(guān)文章：
1. 一個(gè)mysql聯(lián)表查詢的問題2. 運(yùn)行python程序時(shí)出現(xiàn)“應(yīng)用程序發(fā)生異常”的內(nèi)存錯(cuò)誤？3. html5 - iOS的webview加載出來(lái)的H5網(wǎng)頁(yè)，怎么修改html標(biāo)簽select的樣式字體？4. mysql - 一個(gè)表和多個(gè)表是多對(duì)多的關(guān)系，該怎么設(shè)計(jì)5. java - 我現(xiàn)在一個(gè)servlet中有調(diào)用socket訪問，作為socket的客戶端，6. python 如何實(shí)現(xiàn)PHP替換圖片 鏈接7. python如何不改動(dòng)文件的情況下修改文件的 修改日期8. 主從備份 - 跪求mysql 高可用主從方案9. javascript - git clone 下來(lái)的項(xiàng)目 想在本地運(yùn)行 npm run install 報(bào)錯(cuò)10. mysql主從 - 請(qǐng)教下mysql 主動(dòng)-被動(dòng)模式的雙主配置 和 主從配置在應(yīng)用上有什么區(qū)別？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備