溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要講解了python中如何使用Beautiful Soup，內容清晰明了，相信大家閱讀完之后會有幫助。
Beautiful Soup就是Python的一個HTML或XML的解析庫，可以用它來方便地從網頁中提取數據。它有如下三個特點：
首先，我們要安裝它：pip install bs4,然后安裝 pip install beautifulsoup4.
Beautiful Soup支持的解析器
下面我們以lxml解析器為例：
from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello</p>', 'lxml')
print(soup.p.string)
結果：
Hello
beautiful soup美化的效果實例：
html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>, <a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml')#調用prettify()方法。這個方法可以把要解析的字符串以標準的縮進格式輸出 print(soup.prettify()) print(soup.title.string)
結果：
<html> <head> <title> The Dormouse's story </title> </head> <body> <p class="title" name="dromouse"> <b> The Dormouse's story </b> </p> <p class="story"> Once upon a time there were three little sisters; and their names were <a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"> <!-- Elsie --> </a> , <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2"> Lacie </a> and <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3"> Tillie </a> ; and they lived at the bottom of a well. </p> <p class="story"> ... </p> </body> </html> The Dormouse's story
下面舉例說明選擇元素、屬性、名稱的方法
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('輸出結果為title節點加里面的文字內容:\n',soup.title)
print('輸出它的類型:\n',type(soup.title))
print('輸出節點的文本內容:\n',soup.title.string)
print('結果是節點加其內部的所有內容:\n',soup.head)
print('結果是第一個p節點的內容:\n',soup.p)
print('利用name屬性獲取節點的名稱:\n',soup.title.name)
#這里需要注意的是，有的返回結果是字符串，有的返回結果是字符串組成的列表。
# 比如，name屬性的值是唯一的，返回的結果就是單個字符串。
# 而對于class，一個節點元素可能有多個class，所以返回的是列表。
print('每個節點可能有多個屬性，比如id和class等:\n',soup.p.attrs)
print('選擇這個節點元素后，可以調用attrs獲取所有屬性：\n',soup.p.attrs['name'])
print('獲取p標簽的name屬性值：\n',soup.p['name'])
print('獲取p標簽的class屬性值：\n',soup.p['class'])
print('獲取第一個p節點的文本:\n',soup.p.string)結果：
輸出結果為title節點加里面的文字內容:
<title>The Dormouse's story</title>
輸出它的類型:
<class 'bs4.element.Tag'>
輸出節點的文本內容:
The Dormouse's story
結果是節點加其內部的所有內容:
<head><title>The Dormouse's story</title></head>
結果是第一個p節點的內容:
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
利用name屬性獲取節點的名稱:
title
每個節點可能有多個屬性，比如id和class等:
{'class': ['title'], 'name': 'dromouse'}
選擇這個節點元素后，可以調用attrs獲取所有屬性：
dromouse
獲取p標簽的name屬性值：
dromouse
獲取p標簽的class屬性值：
['title']
獲取第一個p節點的文本:
The Dormouse's story在上面的例子中，我們知道每一個返回結果都是bs4.element.Tag類型，它同樣可以繼續調用節點進行下一步的選擇。
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('獲取了head節點元素，繼續調用head來選取其內部的head節點元素:\n',soup.head.title)
print('繼續調用輸出類型：\n',type(soup.head.title))
print('繼續調用輸出內容：\n',soup.head.title.string)結果：
獲取了head節點元素，繼續調用head來選取其內部的head節點元素: <title>The Dormouse's story</title> 繼續調用輸出類型： <class 'bs4.element.Tag'> 繼續調用輸出內容： The Dormouse's story
（1）find_all()
find_all，顧名思義，就是查詢所有符合條件的元素。給它傳入一些屬性或文本，就可以得到符合條件的元素，它的功能十分強大。
find_all(name , attrs , recursive , text , **kwargs)
他的用法：
html='''
<div class="panel">
<div class="panel-heading">
<h5>Hello</h5>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('查詢所有ul節點，返回結果是列表類型，長度為2:\n',soup.find_all(name='ul'))
print('每個元素依然都是bs4.element.Tag類型:\n',type(soup.find_all(name='ul')[0]))
#將以上步驟換一種方式，遍歷出來
for ul in soup.find_all(name='ul'):
print('輸出每個u1:',ul.find_all(name='li'))
#遍歷兩層
for ul in soup.find_all(name='ul'):
print('輸出每個u1:',ul.find_all(name='li'))
for li in ul.find_all(name='li'):
print('輸出每個元素：',li.string)結果：
查詢所有ul節點，返回結果是列表類型，長度為2: [<ul class="list" id="list-1"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul>, <ul class="list list-small" id="list-2"> <li class="element">Foo</li> <li class="element">Bar</li> </ul>] 每個元素依然都是bs4.element.Tag類型: <class 'bs4.element.Tag'> 輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>] 輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>] 輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>] 輸出每個元素： Foo 輸出每個元素： Bar 輸出每個元素： Jay 輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>] 輸出每個元素： Foo 輸出每個元素： Bar
看完上述內容，有沒有對python中如何使用Beautiful Soup有進一步的了解，如果還想學習更多內容，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
