溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
今天就跟大家聊聊有關通過PPT理解怎么訓練RNN，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。
RNN 是一種重要的語言模型 ( language model)，它的輸入不受輸入單詞個數限制，可以是任意長度，隱含層節點間的權重 w 都相等。RNN作為一種神經網絡模型，它的訓練技術依然沿用反向傳播方法。下面，通過斯坦福的PPT，詳細闡述整個訓練求解權重參數 w 的過程。
損失函數選用交叉熵，機器學習的很多算法模型也都會選用交叉熵。顯然，損失函數大小不想受訓練語料庫的單詞數影響，因此計算所有訓練單詞的交叉熵再求平均即可。
t 時步，yj為正確單詞，yj^為預測單詞，V為單詞總數， T為訓練樣本總數，如下圖所示，輸入單詞 the 正確的輸出應該為 students，對應 J1 的損失。
依次求出 y2, ..., yn ，得到所有的損失平均值。
通過反向傳播調整參數取值，如下所示，這是一種時間的反向傳播算法，t 時步的損失梯度為前 t 個時步的損失梯度和。
到此，調整權重的公式已經得出。
看完上述內容，你們對通過PPT理解怎么訓練RNN有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
