PyTorch中怎樣使實驗結果可復現

小編給大家分享一下PyTorch中怎樣使實驗結果可復現，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

全部設置可以分為三部分：

1. CUDNN

cudnn中對卷積操作進行了優化，犧牲了精度來換取計算效率。如果需要保證可重復性，可以使用如下設置:

from torch.backends import cudnn
cudnn.benchmark = False      # if benchmark=True, deterministic will be False
cudnn.deterministic = True

不過實際上這個設置對精度影響不大，僅僅是小數點后幾位的差別。所以如果不是對精度要求極高，其實不太建議修改，因為會使計算效率降低。

2. Pytorch

torch.manual_seed(seed)      # 為CPU設置隨機種子
torch.cuda.manual_seed(seed)    # 為當前GPU設置隨機種子
torch.cuda.manual_seed_all(seed)  # 為所有GPU設置隨機種子

3. Python & Numpy

如果讀取數據的過程采用了隨機預處理(如RandomCrop、RandomHorizontalFlip等)，那么對python、numpy的隨機數生成器也需要設置種子。

import random
import numpy as np
random.seed(seed)
np.random.seed(seed)

最后，關于dataloader：

注意，如果dataloader采用了多線程(num_workers > 1), 那么由于讀取數據的順序不同，最終運行結果也會有差異。也就是說，改變num_workers參數，也會對實驗結果產生影響。目前暫時沒有發現解決這個問題的方法，但是只要固定num_workers數目（線程數）不變，基本上也能夠重復實驗結果。

對于不同線程的隨機數種子設置，主要通過DataLoader的worker_init_fn參數來實現。默認情況下使用線程ID作為隨機數種子。如果需要自己設定，可以參考以下代碼：

GLOBAL_SEED = 1
 
def set_seed(seed):
  random.seed(seed)
  np.random.seed(seed)
  torch.manual_seed(seed)
  torch.cuda.manual_seed(seed)
  torch.cuda.manual_seed_all(seed)
 
GLOBAL_WORKER_ID = None
def worker_init_fn(worker_id):
  global GLOBAL_WORKER_ID
  GLOBAL_WORKER_ID = worker_id
  set_seed(GLOBAL_SEED + worker_id)
 
dataloader = DataLoader(dataset, batch_size=16, shuffle=True, num_workers=2, worker_init_fn=worker_init_fn)

以上是“PyTorch中怎樣使實驗結果可復現”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！