亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

怎么用python爬取多個網頁內容

小億
145
2023-12-14 20:56:42
欄目: 編程語言

要用Python爬取多個網頁內容,可以使用requests庫來發送HTTP請求,然后使用BeautifulSoup庫來解析HTML頁面。以下是一個示例代碼,用于爬取多個網頁的標題和正文內容:

import requests
from bs4 import BeautifulSoup

# 定義要爬取的多個網頁URL列表
urls = [
    'http://www.example.com/page1',
    'http://www.example.com/page2',
    'http://www.example.com/page3'
]

for url in urls:
    # 發送HTTP GET請求獲取網頁內容
    response = requests.get(url)

    # 使用BeautifulSoup解析HTML頁面
    soup = BeautifulSoup(response.content, 'html.parser')

    # 獲取網頁標題
    title = soup.title.string

    # 獲取網頁正文內容
    content = soup.find('body').get_text()

    # 打印網頁標題和正文內容
    print('標題:', title)
    print('正文內容:', content)

上述代碼中,首先定義了要爬取的多個網頁URL列表。然后使用循環遍歷每個URL,發送HTTP GET請求獲取網頁內容。接著使用BeautifulSoup庫解析HTML頁面,獲取網頁標題和正文內容。最后打印出標題和正文內容。

請注意,代碼中使用的是requests庫來發送HTTP請求,所以需要先安裝這個庫。可以使用pip命令進行安裝:

pip install requests

同樣地,還需要安裝BeautifulSoup庫:

pip install beautifulsoup4

需要根據自己的需求對代碼進行適當的修改,例如處理異常、保存數據等。

0
工布江达县| 建湖县| 河北区| 武功县| 罗山县| 镇安县| 灵川县| 盖州市| 靖西县| 永平县| 扎赉特旗| 泌阳县| 西充县| 饶阳县| 北票市| 民乐县| 政和县| 调兵山市| 鄱阳县| 克什克腾旗| 肥东县| 海林市| 个旧市| 汶川县| 玉环县| 綦江县| 峡江县| 彩票| 施秉县| 晋江市| 乡城县| 凉山| 枞阳县| 聊城市| 晋中市| 娱乐| 达日县| 南江县| 新兴县| 龙里县| 金平|