前幾天小編連續(xù)寫(xiě)了四篇關(guān)于Python選擇器的文章，分別用正則表達(dá)式、BeautifulSoup、Xpath、CSS選擇器分別抓取京東網(wǎng)的商品信息。今天小編來(lái)給大家總結(jié)一下這四個(gè)選擇器，讓大家更加深刻的理解和熟悉Python選擇器。

一、正則表達(dá)式

正則表達(dá)式為我們提供了抓取數(shù)據(jù)的快捷方式。雖然該正則表達(dá)式更容易適應(yīng)未來(lái)變化，但又存在難以構(gòu)造、可讀性差的問(wèn)題。當(dāng)在爬京東網(wǎng)的時(shí)候，正則表達(dá)式如下圖所示：

利用正則表達(dá)式實(shí)現(xiàn)對(duì)目標(biāo)信息的精準(zhǔn)采集

此外 ，我們都知道，網(wǎng)頁(yè)時(shí)常會(huì)產(chǎn)生變更，導(dǎo)致網(wǎng)頁(yè)中會(huì)發(fā)生一些微小的布局變化時(shí)，此時(shí)也會(huì)使得之前寫(xiě)好的正則表達(dá)式無(wú)法滿足需求，而且還不太好調(diào)試。當(dāng)需要匹配的內(nèi)容有很多的時(shí)候，使用正則表達(dá)式提取目標(biāo)信息會(huì)導(dǎo)致程序運(yùn)行的速度減慢，需要消耗更多內(nèi)存。

二、BeautifulSoup

BeautifulSoup是一個(gè)非常流行的 Pyhon 模塊。該模塊可以解析網(wǎng)頁(yè)，并提供定位內(nèi)容的便捷接口。通過(guò)’pip install beautifulsoup4’就可以實(shí)現(xiàn)該模塊的安裝了。

利用美麗的湯去提取目標(biāo)信息

使用 BeautifulSoup的第一步是將己下載的 HTML 內(nèi)容解析為 soup文檔。由 于大多 數(shù)網(wǎng) 頁(yè)都不具備良好的HTML 格式，因此BeautifulSoup需要對(duì)實(shí)際格式進(jìn)行確定。BeautifulSoup能夠正確解析缺失的引號(hào)并閉合標(biāo)簽，此外還會(huì)添加＜html ＞和＜body＞標(biāo)簽使其成為完整的HTML文檔。通常使用find() 和find_all()方法來(lái)定位我們需要的元素。如果你想了解BeautifulSoup全部方法和參數(shù)，可以查閱BeautifulSoup的官方文檔。雖然BeautifulSoup在代碼的理解上比正則表達(dá)式要復(fù)雜一些，但是其更加容易構(gòu)造和理解。

三、Lxml

Lxml模塊使用 C語(yǔ)言編寫(xiě)，其解析速度比 BeautiflSoup更快，而且其安裝過(guò)程也更為復(fù)雜，在此小編就不贅述啦。XPath 使用路徑表達(dá)式在 XML 文檔中選取節(jié)點(diǎn)。節(jié)點(diǎn)是通過(guò)沿著路徑或者 step 來(lái)選取的。

Xpath

使用 lxml 模塊的第一步和BeautifulSoup一樣，也是將有可能不合法的HTML 解析為 統(tǒng)一格式。 雖然Lxml可以正確解析屬性兩側(cè)缺失的引號(hào)，并閉合標(biāo)簽，不過(guò)該模塊沒(méi)有額外添加＜html ＞和＜body＞標(biāo)簽 。

在線復(fù)制Xpath表達(dá)式可以很方便的復(fù)制Xpath表達(dá)式。但是通過(guò)該方法得到的Xpath表達(dá)式放在程序中一般不能用，而且長(zhǎng)的沒(méi)法看。所以Xpath表達(dá)式一般還是要自己親自上手。

四、CSS

CSS選擇器表示選擇元素所使用 的模式。BeautifulSoup整合了CSS選擇器的語(yǔ)法和自身方便使用API。在網(wǎng)絡(luò)爬蟲(chóng)的開(kāi)發(fā)過(guò)程中，對(duì)于熟悉CSS選擇器語(yǔ)法的人，使用CSS選擇器是個(gè)非常方便的方法。

CSS選擇器

下面是一些常用的選擇器示例。

選擇所有標(biāo)簽： ＊ 選擇＜a＞標(biāo) 簽： a 選擇所有class＝”link” 的元素： .l in k 選擇 class＝”link” 的＜a＞標(biāo)簽： a.link 選擇 id= ' home ” 的＜a＞標(biāo)簽： a Jhome 選擇父元素為＜a＞標(biāo)簽的所有＜ span＞子標(biāo)簽： a > span 選擇＜a＞標(biāo)簽內(nèi)部的所有＜span＞標(biāo)簽： a span 選擇title屬性為” Home ” 的所有＜a＞標(biāo)簽： a [title=Home]

五、性能對(duì)比

lxml 和正則表達(dá)式模塊都是C語(yǔ)言編寫(xiě)的，而B(niǎo)eautifulSoup則是純Python 編寫(xiě)的。下表總結(jié)了每種抓取方法的優(yōu)缺點(diǎn)。

相對(duì)困難需要注意的是。lxml在內(nèi)部實(shí)現(xiàn)中，實(shí)際上是將CSS選擇器轉(zhuǎn)換為等價(jià)的Xpath選擇器。

六、總結(jié)

如果你的爬蟲(chóng)瓶頸是下載網(wǎng)頁(yè)，而不是抽取數(shù)據(jù)的話，那么使用較慢的方法（如BeautifulSoup） 也不成問(wèn)題。如果只需抓取少量數(shù)據(jù)，并且想要避免額外依賴的話，那么正則表達(dá)式可能更加適合。不過(guò)，通常情況下，l xml是抓取數(shù)據(jù)的最好選擇，這是因?yàn)樵摲椒瓤焖儆纸眩齽t表達(dá)式和BeautifulSoup只在某些特定場(chǎng)景下有用。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持好吧啦網(wǎng)。