在PyTorch中,可以通過在模型的優化器中設置正則化參數來實現模型正則化。常見的正則化方法包括L1正則化和L2正則化。
以L2正則化為例,可以通過在優化器中設置weight_decay參數來實現正則化:
import torch
import torch.nn as nn
import torch.optim as optim
# 定義模型
class Model(nn.Module):
def __init__(self):
super(Model, self).__init__()
self.fc1 = nn.Linear(10, 5)
self.fc2 = nn.Linear(5, 1)
def forward(self, x):
x = torch.relu(self.fc1(x))
x = self.fc2(x)
return x
model = Model()
# 定義優化器,并設置weight_decay參數
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.001)
# 訓練模型時,正常進行前向傳播和反向傳播
在上面的代碼中,通過設置weight_decay參數為0.001,實現了對模型參數的L2正則化。您也可以根據需要調整weight_decay的值或者嘗試其他正則化方法來實現模型正則化。