文章詳情頁
網(wǎng)頁爬蟲 - 關(guān)于python beautifullsoup解析網(wǎng)頁內(nèi)容丟失的問題？
瀏覽：89日期：2022-09-23 08:23:07
問題描述
待解析頁面的部分代碼如第一幅圖所示，我自己寫的代碼及運(yùn)行結(jié)果如第二幅圖所示。看到已經(jīng)有答主提問解析頁面丟失是因?yàn)橛玫氖莑xml的解析方式，我想說我一直用的是html.parser的方式。希望各位大神不吝賜教~
問題解答
回答1：你們從來都不考慮javascript動(dòng)態(tài)加載的嗎？
回答2：題主，如果你用Chrome F12看的話，里面是會(huì)有動(dòng)態(tài)加載的內(nèi)容的，而這些內(nèi)容你直接請(qǐng)求頁面的url是拿不到的。建議你點(diǎn)右鍵查看網(wǎng)頁源代碼，對(duì)照著F12里面的內(nèi)容來看，源代碼里沒有的內(nèi)容，就去查看Network里的其他請(qǐng)求，看有沒有你需要的數(shù)據(jù)。
相關(guān)文章：
1. Docker for Mac 創(chuàng)建的dnsmasq容器連不上/不工作的問題2. docker安裝后出現(xiàn)Cannot connect to the Docker daemon.3. css - 定位為absolute的父元素中的子元素 如何設(shè)置在父元素的下面？4. javascript - angualr2中emit觸發(fā)一個(gè)方法然后怎么獲得這個(gè)promise的結(jié)果5. java - 請(qǐng)問在main方法中寫成對(duì)象名.屬性（）并賦值，與直接參參數(shù)賦值輸錯(cuò)誤是什么原因？6. mysql里的大表用mycat做水平拆分，是不是要先手動(dòng)分好，再配置mycat7. java - Spring boot 讀取 放在 jar 包外的，log4j 配置文件，系統(tǒng)有創(chuàng)建日志文件，不寫入日志信息。8. javascript - 圖片鏈接請(qǐng)求一直是pending狀態(tài)，導(dǎo)致頁面崩潰，怎么解決？9. python - beautifulsoup獲取網(wǎng)頁內(nèi)容的問題10. 怎么用css截取字符？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備