怎么在Python3使用正則表達式爬取數據

這篇文章給大家介紹怎么在Python3使用正則表達式爬取數據，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

代碼如下：

# -*- coding:utf-8 -*-
from urllib import request as urllib2
import re
# 利用正則表達式爬取內涵段子
url = r'http://www.neihanpa.com/article/list_5_{}.html'
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
}
file_name = '內涵段子.txt'
for page in range(2):
# 2表示頁數，可以自行調整
  fullurl = url.format(str(page+1))
  request = urllib2.Request(url=fullurl, headers=headers)
  response = urllib2.urlopen(request)
  html = response.read().decode('gbk')
  # re.S 如果沒有re.S 則是只匹配一行有沒有符合規則的字符串，如果沒有則下一行重新匹配
  # 如果加上re.S 則是將所有的字符串作為一個整體進行匹配
  pattern = re.compile(r'<div\sclass="f18 mb20">(.*?)</div>',re.S)
  duanzis = pattern.findall(html)
  for duanzi in duanzis:
    duanzi = duanzi.replace('<p>','').replace('</p>','').replace('<br />','\n').replace('&ldquo;','').replace('&rdquo','').replace('&hellip;','')
    try:
      # 將爬取的段子寫入文件
      file = open(file_name,'a',encoding='utf-8')
      file.write('\n'.join(duanzi.split()))
      file.close()
    except OSError as e:
      print(e)

關于怎么在Python3使用正則表達式爬取數據就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。