溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本文將原始的numpy array數據在pytorch下封裝為Dataset類的數據集，為后續深度網絡訓練提供數據。
加載并保存圖像信息
首先導入需要的庫，定義各種路徑。
import os import matplotlib from keras.datasets import mnist import numpy as np from torch.utils.data.dataset import Dataset from PIL import Image import scipy.misc root_path = 'E:/coding_ex/pytorch/Alexnet/data/' base_path = 'baseset/' training_path = 'trainingset/' test_path = 'testset/'
這里將數據集分為三類，baseset為所有數據（trainingset+testset），trainingset是訓練集，testset是測試集。直接通過keras.dataset加載mnist數據集，不能自動下載的話可以手動下載.npz并保存至相應目錄下。
def LoadData(root_path, base_path, training_path, test_path):
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_baseset = np.concatenate((x_train, x_test))
y_baseset = np.concatenate((y_train, y_test))
train_num = len(x_train)
test_num = len(x_test)
#baseset
file_img = open((os.path.join(root_path, base_path)+'baseset_img.txt'),'w')
file_label = open((os.path.join(root_path, base_path)+'baseset_label.txt'),'w')
for i in range(train_num + test_num):
file_img.write(root_path + base_path + 'img/' + str(i) + '.png\n') #name
file_label.write(str(y_baseset[i])+'\n') #label
# scipy.misc.imsave(root_path + base_path + '/img/'+str(i) + '.png', x_baseset[i])
matplotlib.image.imsave(root_path + base_path + 'img/'+str(i) + '.png', x_baseset[i])
file_img.close()
file_label.close()
#trainingset
file_img = open((os.path.join(root_path, training_path)+'trainingset_img.txt'),'w')
file_label = open((os.path.join(root_path, training_path)+'trainingset_label.txt'),'w')
for i in range(train_num):
file_img.write(root_path + training_path + 'img/' + str(i) + '.png\n') #name
file_label.write(str(y_train[i])+'\n') #label
# scipy.misc.imsave(root_path + training_path + '/img/'+str(i) + '.png', x_train[i])
matplotlib.image.imsave(root_path + training_path + 'img/'+str(i) + '.png', x_train[i])
file_img.close()
file_label.close()
#testset
file_img = open((os.path.join(root_path, test_path)+'testset_img.txt'),'w')
file_label = open((os.path.join(root_path, test_path)+'testset_label.txt'),'w')
for i in range(test_num):
file_img.write(root_path + test_path + 'img/' + str(i) + '.png\n') #name
file_label.write(str(y_test[i])+'\n') #label
# scipy.misc.imsave(root_path + test_path + '/img/'+str(i) + '.png', x_test[i])
matplotlib.image.imsave(root_path + test_path + 'img/'+str(i) + '.png', x_test[i])
file_img.close()
file_label.close()
使用這段代碼時，需要建立相應的文件夾及.txt文件，./data文件夾結構如下：
/img文件夾
由于mnist數據集其實是灰度圖，這里用matplotlib保存的圖像是偽彩色圖像。
如果用scipy.misc.imsave的話保存的則是灰度圖像。
xxx_img.txt文件
xxx_img.txt文件中存放的是每張圖像的名字
xxx_label.txt文件
xxx_label.txt文件中存放的是類別標記
這里記得保存的時候一行為一個圖像信息，便于后續讀取。
定義自己的Dataset類
pytorch訓練數據時需要數據集為Dataset類，便于迭代等等，這里將加載保存之后的數據封裝成Dataset類，繼承該類需要寫初始化方法（__init__），獲取指定下標數據的方法__getitem__），獲取數據個數的方法（__len__）。這里尤其需要注意的是要把label轉為LongTensor類型的。
class DataProcessingMnist(Dataset):
def __init__(self, root_path, imgfile_path, labelfile_path, imgdata_path, transform = None):
self.root_path = root_path
self.transform = transform
self.imagedata_path = imgdata_path
img_file = open((root_path + imgfile_path),'r')
self.image_name = [x.strip() for x in img_file]
img_file.close()
label_file = open((root_path + labelfile_path), 'r')
label = [int(x.strip()) for x in label_file]
label_file.close()
self.label = torch.LongTensor(label)#這句很重要，一定要把label轉為LongTensor類型的
def __getitem__(self, idx):
image = Image.open(str(self.image_name[idx]))
image = image.convert('RGB')
if self.transform is not None:
image = self.transform(image)
label = self.label[idx]
return image, label
def __len__(self):
return len(self.image_name)
定義完自己的類之后可以測試一下。
LoadData(root_path, base_path, training_path, test_path) training_imgfile = training_path + 'trainingset_img.txt' training_labelfile = training_path + 'trainingset_label.txt' training_imgdata = training_path + 'img/' #實例化一個類 dataset = DataProcessingMnist(root_path, training_imgfile, training_labelfile, training_imgdata)
得到圖像名稱
name = dataset.image_name
這里我們可以單獨輸出某一個名稱看一下是否有換行符
print(name[0]) >>>'E:/coding_ex/pytorch/Alexnet/data/trainingset/img/0.png'
如果定義類的時候self.image_name = [x.strip() for x in img_file]這句沒有strip掉，則輸出的值將為'E:/coding_ex/pytorch/Alexnet/data/trainingset/img/0.png\n'
獲取固定下標的圖像
im, label = dataset.__getitem__(0)
得到結果
以上這篇pytorch實現建立自己的數據集(以mnist為例)就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
