亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

怎么用python抓取網頁內容保存到csv文件

小億
147
2023-12-09 01:03:42
欄目: 編程語言

要使用Python抓取網頁內容并保存到CSV文件,可以按照以下步驟進行操作:

  1. 導入所需的庫,包括requests用于發送HTTP請求,csv用于操作CSV文件。
import requests
import csv
  1. 發送HTTP請求獲取網頁內容,并將其存儲在一個變量中。可以使用requests.get()方法來發送GET請求,并使用.text屬性來獲取網頁內容。
url = "http://example.com"  # 替換為需要抓取的網頁URL
response = requests.get(url)
content = response.text
  1. 解析網頁內容,提取所需的數據。可以使用Python內置的字符串操作方法或者使用第三方庫(如BeautifulSoup)來解析網頁。
# 使用示例:使用正則表達式從網頁內容中提取所有的鏈接
import re

pattern = '<a href="(.*?)".*?>'
links = re.findall(pattern, content)
  1. 創建一個CSV文件,并將數據寫入其中。可以使用csv.writer對象來寫入CSV文件,通過調用其writerow()方法來寫入一行數據。
filename = "data.csv"  # 替換為所需的CSV文件名
with open(filename, 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(["Link"])  # 寫入表頭
    for link in links:
        writer.writerow([link])  # 寫入數據

完整的代碼示例:

import requests
import csv
import re

url = "http://example.com"  # 替換為需要抓取的網頁URL
response = requests.get(url)
content = response.text

pattern = '<a href="(.*?)".*?>'
links = re.findall(pattern, content)

filename = "data.csv"  # 替換為所需的CSV文件名
with open(filename, 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(["Link"])  # 寫入表頭
    for link in links:
        writer.writerow([link])  # 寫入數據

運行上述代碼后,會在當前目錄下生成一個名為"data.csv"的文件,其中包含了抓取到的網頁鏈接信息。根據實際需求,可以調整代碼來提取其他所需的數據并寫入CSV文件。

0
临安市| 赞皇县| 城市| 乌兰察布市| 呼和浩特市| 克山县| 鞍山市| 左贡县| 宁津县| 辽宁省| 息烽县| 石柱| 井冈山市| 黔西| 常熟市| 扶沟县| 阿克陶县| 定兴县| 桐城市| 紫金县| 瓮安县| 杂多县| 闻喜县| 和平区| 乌拉特中旗| 海宁市| 浙江省| 金平| 宜城市| 潼南县| 清丰县| 新邵县| 嘉荫县| 葫芦岛市| 喀喇| 衡阳市| 锦州市| 雅江县| 颍上县| 黔江区| 石嘴山市|