python爬下來的數據如何保存

小編給大家分享一下python爬下來的數據如何保存，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

python數據爬下來保存在本地，一般是文件或數據庫中，但是文件形式相比要更加簡單，如果只是自己寫爬蟲玩，可以用文件形式來保存數據。

#coding=utf-8
import urllib.request
import re
import os
 
'''
Urllib 模塊提供了讀取web頁面數據的接口，我們可以像讀取本地文件一樣讀取www和ftp上的數據
urlopen 方法用來打開一個url
read方法 用于讀取Url上的數據
'''
 
def getHtml(url):
    page = urllib.request.urlopen(url);
    html = page.read();
    return html;
 
def getImg(html):
    imglist = re.findall('img src="(http.*?)"',html)
    return imglist
 
html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
imagesUrl = getImg(html);
 
if os.path.exists("D:/imags") == False:
    os.mkdir("D:/imags");
    
count = 0;
for url in imagesUrl:
    print(url)
    if(url.find('.') != -1):
        name = url[url.find('.',len(url) - 5):];
        bytes = urllib.request.urlopen(url);
        f = open("D:/imags/"+str(count)+name, 'wb');
        f.write(bytes.read());
        f.flush();
        f.close();
        count+=1;

經測試，基本功能還是可以實現的。花的較多的時間就是正則匹配哪里，因為自己對正則表達式也不是非常熟悉。所以還是花了點時間。

注：上面的程序基于 python 3.5。python3 和 python2 還是有些區別的。我剛開始看基礎語法的時候就栽了一些坑里。

以上是python爬下來的數據如何保存的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！