首先需要安裝BeautifulSoup和requests庫,可以通過以下命令安裝:
pip install beautifulsoup4
pip install requests
接下來可以使用以下代碼來爬取網頁內容:
import requests
from bs4 import BeautifulSoup
# 發起GET請求
url = 'https://www.example.com'
response = requests.get(url)
# 解析網頁內容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到需要的內容
content = soup.find('div', class_='content').text
print(content)
在上面的代碼中,首先發起一個GET請求并獲取網頁的內容,然后使用BeautifulSoup解析網頁內容。接著通過find方法找到需要的內容,最后打印出來。可以根據網頁的具體結構和需要的內容做相應的調整。