nn.BCELoss與nn.CrossEntropyLoss有哪些區別

這篇文章主要介紹了nn.BCELoss與nn.CrossEntropyLoss有哪些區別，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

BCELoss與CrossEntropyLoss都是用于分類問題。可以知道，BCELoss是Binary CrossEntropyLoss的縮寫，BCELoss　CrossEntropyLoss的一個特例，只用于二分類問題，而CrossEntropyLoss可以用于二分類，也可以用于多分類。

不過我重新查閱了一下資料，發現同樣是處理二分類問題，BCELoss與CrossEntropyLoss是不同的。下面我詳細講一下哪里不同。

1、使用nn.BCELoss需要在該層前面加上Sigmoid函數。

公式如下：

2、使用nn.CrossEntropyLoss會自動加上Sofrmax層。

公式如下：

可以看出，這兩個計算損失的函數使用的激活函數不同，故而最后的計算公式不同。

補充拓展：pytorch的BCELoss和cross entropy

BCELoss:

torch.nn.BCELoss:

Input: (N, *)(N,?) where *? means, any number of additional dimensions

Target: (N, *)(N,?), same shape as the input

Output: scalar. If reduction is 'none', then (N, *)(N,?), same shape as input.

這里的輸入和target 目標必須形狀一致，并且都是浮點數，二分類中一般用sigmoid的把輸出挑出一個數：

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(m(input), target)
>>> output.backward()

CrossEntropyLoss:

input(N,C) #n 是batch c是類別
target(N)

輸入和target 形狀是不同的crossEntropy 是自己會做softmax

>>> loss = nn.CrossEntropyLoss()
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.empty(3, dtype=torch.long).random_(5)
>>> output = loss(input, target)
>>> output.backward()

感謝你能夠認真閱讀完這篇文章，希望小編分享的“nn.BCELoss與nn.CrossEntropyLoss有哪些區別”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!