python pickle存儲、讀取大數據量列表、字典數據的示例分析

這篇文章主要為大家展示了“python pickle存儲、讀取大數據量列表、字典數據的示例分析”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“python pickle存儲、讀取大數據量列表、字典數據的示例分析”這篇文章吧。

針對于數據量比較大的列表、字典，可以采用將其加工為數據包來調用，減小文件大小

#列表
  #存儲
  list1 = [123,'xiaopingguo',54,[90,78]]
  list_file = open('list1.pickle','wb')
  pickle.dump(list1,list_file)
  list_file.close()
 
  #讀取
  list_file = open('list1.pickle','rb')
  list2 = pickle.load(list_file)
  print(list2)
 
#字典
  #存儲
  list3 = {'12': 123, '23': 'xiaopingguo', '34': 54, '45': [90, 78]}
  list3_file = open('list3.pickle', 'wb')
  pickle.dump(list3, list3_file)
  list3_file.close()
  # # 讀取
  list3_file = open('list3.pickle', 'rb')
  list3 = pickle.load(list3_file)
  print(list3)

  print(list3['23']

ps：下面看下python 利用pickle存大數據

最近在處理一份數據，有一個巨大的、字典型的中間變量，由于今后會持久、高頻地使用，因此我考慮將其保存成類似于matlab的.mat格式的數據，方便以后隨時讀取。

理所當然地會想到利用pickle來保存數據，因為這是在python環境下最常用也最簡單的存儲數據的方式。
python存儲數據的方法有很多，最常用的做法就是利用pickle模塊，當然還有其他做法，比如存成json、txt等格式。至于

pandas、h6等方式的另說哈~

pickle模塊介紹

pickle模塊實現了用于序列化和反序列化python對象結構的二進制協議。 序列化操作"pickling"是將python對象層次結構轉換為字節流的過程，反序列化操作 "unpickling"則是將字節流轉換回對象層次結構。

不得不提到的是，pickle是python所獨有的，因此非python程序可能無法重構pickle對象。在工作中，我就遇到一個問題，就是我用sklearn訓練得到的機器學習模型，用pickle保存下來后，工程方面的同事是沒法用java調用這個模型的，一個臨時的方法是有位同事讀pickle源碼，自己用java一步步反序列化回來，佩服佩服。

pickle使用技巧

對于最簡單的代碼，使用 dump() 和 load() 函數便足夠了。

import pickle
a = 1
# 保存
with open('data.pickle', 'wb') as f:
  pickle.dump(data, f)
# 讀取
with open('data.pickle', 'rb') as f:
  b = pickle.load(f)

但如果你讀過pickle的說明文檔的話，會發現有個參數叫做protocol。參數protocol代表了序列化模式(pickle協議)，在python2.X版本默認值為0，在python3.X本默認值為3。簡而言之，不同的python版本對應著不同的最高協議，同時protocol值越大，代表了所用的協議版本越高。如圖所示，

那么修改protocol會有什么影響呢？protocol值越大，dump的速度越快，并且支持的數據類型更多，保存下來的文件占用空間更小，同時也帶來一些其他優化，例如在python3.4中，協議版本4新支持對非常大的數據進行序列化。因此可以的話，請選擇最高協議版本作為protocol參數的值，即設protocol=pickle.HIGHEST_PROTOCOL即可。

那么，上面的那段代碼可以改成：

import pickle
a = 1
# 保存
with open('data.pickle', 'wb') as f:
  pickle.dump(data, f, protocol=pickle.HIGHEST_PROTOCOL)
# 讀取
with open('data.pickle', 'rb') as f:
  b = pickle.load(f)

可能，對于小數據，影響不會很大。

但當你需要對大數據進行序列化的時候，請記得pickle的這個技巧。

以上是“python pickle存儲、讀取大數據量列表、字典數據的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！