文章詳情頁

面向新手解析python Beautiful Soup基本用法

瀏覽：2日期：2022-07-17 18:38:20

Beautiful Soup就是Python的一個(gè)HTML或XML的解析庫(kù)，可以用它來方便地從網(wǎng)頁中提取數(shù)據(jù)。它有如下三個(gè)特點(diǎn)：

Beautiful Soup提供一些簡(jiǎn)單的、Python式的函數(shù)來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個(gè)工具箱，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因?yàn)楹?jiǎn)單，所以不需要多少代碼就可以寫出一個(gè)完整的應(yīng)用程序。 Beautiful Soup自動(dòng)將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為UTF-8編碼。你不需要考慮編碼方式，除非文檔沒有指定一個(gè)編碼方式，這時(shí)你僅僅需要說明一下原始編碼方式就可以了。 Beautiful Soup已成為和lxml、html6lib一樣出色的Python解釋器，為用戶靈活地提供不同的解析策略或強(qiáng)勁的速度。

首先，我們要安裝它：pip install bs4,然后安裝 pip install beautifulsoup4.

Beautiful Soup支持的解析器

面向新手解析python Beautiful Soup基本用法

下面我們以lxml解析器為例：

from bs4 import BeautifulSoupsoup = BeautifulSoup(’<p>Hello</p>’, ’lxml’)print(soup.p.string)

結(jié)果：

Hello

beautiful soup美化的效果實(shí)例：

結(jié)果：

<html> <head> <title> The Dormouse’s story </title> </head> <body> <p name='dromouse'> <b> The Dormouse’s story </b> </p> <p class='story'> Once upon a time there were three little sisters; and their names were <a rel='external nofollow' rel='external nofollow' rel='external nofollow' id='link1'>  </a> , <a rel='external nofollow' rel='external nofollow' rel='external nofollow' id='link2'> Lacie </a> and <a rel='external nofollow' rel='external nofollow' rel='external nofollow' id='link3'> Tillie </a> ;and they lived at the bottom of a well. </p> <p class='story'> ... </p> </body></html>The Dormouse’s story

下面舉例說明選擇元素、屬性、名稱的方法

html = '''<html><head><title>The Dormouse’s story</title></head><body><p name='dromouse'><b>The Dormouse’s story</b></p><p class='story'>Once upon a time there were three little sisters; and their names were<a rel='external nofollow' rel='external nofollow' rel='external nofollow' id='link1'></a>,<a rel='external nofollow' rel='external nofollow' rel='external nofollow' id='link2'>Lacie</a> and<a rel='external nofollow' rel='external nofollow' rel='external nofollow' id='link3'>Tillie</a>;and they lived at the bottom of a well.</p><p class='story'>...</p>'''from bs4 import BeautifulSoupsoup = BeautifulSoup(html, ’lxml’)print(’輸出結(jié)果為title節(jié)點(diǎn)加里面的文字內(nèi)容:n’,soup.title)print(’輸出它的類型:n’,type(soup.title))print(’輸出節(jié)點(diǎn)的文本內(nèi)容:n’,soup.title.string)print(’結(jié)果是節(jié)點(diǎn)加其內(nèi)部的所有內(nèi)容:n’,soup.head)print(’結(jié)果是第一個(gè)p節(jié)點(diǎn)的內(nèi)容:n’,soup.p)print(’利用name屬性獲取節(jié)點(diǎn)的名稱:n’,soup.title.name)#這里需要注意的是，有的返回結(jié)果是字符串，有的返回結(jié)果是字符串組成的列表。# 比如，name屬性的值是唯一的，返回的結(jié)果就是單個(gè)字符串。# 而對(duì)于class，一個(gè)節(jié)點(diǎn)元素可能有多個(gè)class，所以返回的是列表。print(’每個(gè)節(jié)點(diǎn)可能有多個(gè)屬性，比如id和class等:n’,soup.p.attrs)print(’選擇這個(gè)節(jié)點(diǎn)元素后，可以調(diào)用attrs獲取所有屬性：n’,soup.p.attrs[’name’])print(’獲取p標(biāo)簽的name屬性值：n’,soup.p[’name’])print(’獲取p標(biāo)簽的class屬性值：n’,soup.p[’class’])print(’獲取第一個(gè)p節(jié)點(diǎn)的文本:n’,soup.p.string)

結(jié)果：

輸出結(jié)果為title節(jié)點(diǎn)加里面的文字內(nèi)容:<title>The Dormouse’s story</title>輸出它的類型:<class ’bs4.element.Tag’>輸出節(jié)點(diǎn)的文本內(nèi)容:The Dormouse’s story結(jié)果是節(jié)點(diǎn)加其內(nèi)部的所有內(nèi)容:<head><title>The Dormouse’s story</title></head>結(jié)果是第一個(gè)p節(jié)點(diǎn)的內(nèi)容:<p name='dromouse'><b>The Dormouse’s story</b></p>利用name屬性獲取節(jié)點(diǎn)的名稱:title每個(gè)節(jié)點(diǎn)可能有多個(gè)屬性，比如id和class等:{’class’: [’title’], ’name’: ’dromouse’}選擇這個(gè)節(jié)點(diǎn)元素后，可以調(diào)用attrs獲取所有屬性：dromouse獲取p標(biāo)簽的name屬性值：dromouse獲取p標(biāo)簽的class屬性值：[’title’]獲取第一個(gè)p節(jié)點(diǎn)的文本:The Dormouse’s story

在上面的例子中，我們知道每一個(gè)返回結(jié)果都是bs4.element.Tag類型，它同樣可以繼續(xù)調(diào)用節(jié)點(diǎn)進(jìn)行下一步的選擇。

html = '''<html><head><title>The Dormouse’s story</title></head><body>'''from bs4 import BeautifulSoupsoup = BeautifulSoup(html, ’lxml’)print(’獲取了head節(jié)點(diǎn)元素，繼續(xù)調(diào)用head來選取其內(nèi)部的head節(jié)點(diǎn)元素:n’,soup.head.title)print(’繼續(xù)調(diào)用輸出類型：n’,type(soup.head.title))print(’繼續(xù)調(diào)用輸出內(nèi)容：n’,soup.head.title.string)

結(jié)果：

獲取了head節(jié)點(diǎn)元素，繼續(xù)調(diào)用head來選取其內(nèi)部的head節(jié)點(diǎn)元素: <title>The Dormouse’s story</title>繼續(xù)調(diào)用輸出類型： <class ’bs4.element.Tag’>繼續(xù)調(diào)用輸出內(nèi)容： The Dormouse’s story

（1）find_all()

find_all，顧名思義，就是查詢所有符合條件的元素。給它傳入一些屬性或文本，就可以得到符合條件的元素，它的功能十分強(qiáng)大。

find_all(name , attrs , recursive , text , **kwargs)

他的用法：

html=’’’<div class='panel'> <div class='panel-heading'> <h4>Hello</h4> </div> <div class='panel-body'> <ul id='list-1'> <li class='element'>Foo</li> <li class='element'>Bar</li> <li class='element'>Jay</li> </ul> <ul id='list-2'> <li class='element'>Foo</li> <li class='element'>Bar</li> </ul> </div></div>’’’from bs4 import BeautifulSoupsoup = BeautifulSoup(html, ’lxml’)print(’查詢所有ul節(jié)點(diǎn)，返回結(jié)果是列表類型，長(zhǎng)度為2:n’,soup.find_all(name=’ul’))print(’每個(gè)元素依然都是bs4.element.Tag類型:n’,type(soup.find_all(name=’ul’)[0]))#將以上步驟換一種方式，遍歷出來for ul in soup.find_all(name=’ul’): print(’輸出每個(gè)u1:’,ul.find_all(name=’li’))#遍歷兩層for ul in soup.find_all(name=’ul’): print(’輸出每個(gè)u1:’,ul.find_all(name=’li’)) for li in ul.find_all(name=’li’): print(’輸出每個(gè)元素：’,li.string)

結(jié)果：

查詢所有ul節(jié)點(diǎn)，返回結(jié)果是列表類型，長(zhǎng)度為2: [<ul id='list-1'><li class='element'>Foo</li><li class='element'>Bar</li><li class='element'>Jay</li></ul>, <ul id='list-2'><li class='element'>Foo</li><li class='element'>Bar</li></ul>]每個(gè)元素依然都是bs4.element.Tag類型: <class ’bs4.element.Tag’>輸出每個(gè)u1: [<li class='element'>Foo</li>, <li class='element'>Bar</li>, <li class='element'>Jay</li>]輸出每個(gè)u1: [<li class='element'>Foo</li>, <li class='element'>Bar</li>]輸出每個(gè)u1: [<li class='element'>Foo</li>, <li class='element'>Bar</li>, <li class='element'>Jay</li>]輸出每個(gè)元素： Foo輸出每個(gè)元素： Bar輸出每個(gè)元素： Jay輸出每個(gè)u1: [<li class='element'>Foo</li>, <li class='element'>Bar</li>]輸出每個(gè)元素： Foo輸出每個(gè)元素： Bar

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持好吧啦網(wǎng)。

Python 編程

上一條：Python QTimer實(shí)現(xiàn)多線程及QSS應(yīng)用過程解析下一條：基于python實(shí)現(xiàn)判斷字符串是否數(shù)字算法

相關(guān)文章：

1. python 如何在 Matplotlib 中繪制垂直線2. ASP常用日期格式化函數(shù) FormatDate()3. 開發(fā)效率翻倍的Web API使用技巧4. 如何通過python實(shí)現(xiàn)IOU計(jì)算代碼實(shí)例5. bootstrap select2 動(dòng)態(tài)從后臺(tái)Ajax動(dòng)態(tài)獲取數(shù)據(jù)的代碼6. CSS3中Transition屬性詳解以及示例分享7. js select支持手動(dòng)輸入功能實(shí)現(xiàn)代碼8. Python 操作 MySQL數(shù)據(jù)庫(kù)9. vue使用moment如何將時(shí)間戳轉(zhuǎn)為標(biāo)準(zhǔn)日期時(shí)間格式10. python中@contextmanager實(shí)例用法

排行榜

					
					Python數(shù)據(jù)相關(guān)系數(shù)矩陣和熱力圖輕松實(shí)現(xiàn)教程
如何在PHP中讀寫文件
vue-drag-chart 拖動(dòng)/縮放圖表組件的實(shí)例代碼
PHP正則表達(dá)式函數(shù)preg_replace用法實(shí)例分析
如何使用repr調(diào)試python程序
php redis setnx分布式鎖簡(jiǎn)單原理解析
Java xml數(shù)據(jù)格式返回實(shí)現(xiàn)操作
Spring @Primary和@Qualifier注解原理解析
一個(gè) 2 年 Android 開發(fā)者的 18 條忠告
Django使用channels + websocket打造在線聊天室
Vue實(shí)現(xiàn)仿iPhone懸浮球的示例代碼
				