亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

python數據爬蟲如何進行異常處理

小樊
81
2024-11-26 17:08:26
欄目: 編程語言

在Python中進行數據爬蟲的異常處理,可以使用try-except語句來捕獲和處理異常。以下是一個簡單的示例:

import requests
from bs4 import BeautifulSoup

def get_html(url):
    try:
        response = requests.get(url)
        response.raise_for_status()  # 如果請求返回的狀態碼不是200,將拋出異常
        return response.text
    except requests.RequestException as e:
        print(f"請求異常: {e}")
        return None
    except Exception as e:
        print(f"其他異常: {e}")
        return None

def parse_html(html):
    if html is None:
        return []

    soup = BeautifulSoup(html, "html.parser")
    try:
        # 在這里解析HTML,例如提取數據
        data = []
        for item in soup.find_all("div", class_="item"):
            title = item.find("h2").text
            link = item.find("a")["href"]
            data.append({"title": title, "link": link})
        return data
    except Exception as e:
        print(f"解析異常: {e}")
        return []

def main():
    url = "https://example.com"
    html = get_html(url)
    data = parse_html(html)
    print(data)

if __name__ == "__main__":
    main()

在這個示例中,我們使用了兩個函數get_htmlparse_htmlget_html函數用于發送HTTP請求并獲取HTML內容,parse_html函數用于解析HTML并提取數據。

get_html函數中,我們使用try-except語句捕獲可能的異常,例如請求異常(如連接超時、DNS解析失敗等)和其他異常。如果發生異常,我們將打印異常信息并返回None。

parse_html函數中,我們同樣使用try-except語句捕獲可能的異常。如果發生異常,我們將打印異常信息并返回一個空列表。

通過這種方式,我們可以確保在爬蟲過程中遇到問題時,程序不會崩潰,而是能夠繼續運行或優雅地退出。

0
上犹县| 茌平县| 应城市| 竹北市| 庄浪县| 安岳县| 准格尔旗| 农安县| 叶城县| 古蔺县| 大庆市| 平利县| 七台河市| 平罗县| 新巴尔虎左旗| 紫金县| 康马县| 梁平县| 泊头市| 慈溪市| 清远市| 白朗县| 达孜县| 中卫市| 南郑县| 温宿县| 米脂县| 澄江县| 云阳县| 分宜县| 锡林郭勒盟| 禹城市| 象山县| 榆社县| 积石山| 安国市| 美姑县| 绍兴县| 西贡区| 乌兰察布市| 万山特区|