Gluon 提供了一系列常用的優化器，用于訓練深度學習模型。以下是 Gluon 支持的一些常見優化器：
1. SGD（隨機梯度下降）：使用每個小批量樣本的梯度來更新模型參數。
2. Adam（自適應矩估計）：結合了 AdaGrad 和 RMSProp 的優點，通常在很多深度學習任務中表現良好。
3. Adagrad：根據參數的頻率調整學習率，對出現頻率高的參數降低學習率，出現頻率低的參數增加學習率。
4. RMSProp：類似 Adagrad，但引入了指數加權移動平均以減小歷史梯度對當前梯度更新的影響。
5. Adadelta：與 RMSProp 類似，但不需要手動設置學習率。
6. AdamW：Adam 的一個變種，通過 L2 正則化在權重衰減上進行改進。
7. LAMB：Layer-wise Adaptive Moments optimizer for Batch training，結合 Adam 和 LARS 的優點，適用于大規模分布式訓練。
8. SparseAdam：適用于稀疏參數的 Adam 優化器。
這些優化器涵蓋了各種情況下的優化需求，開發者可以根據具體任務選擇合適的優化器來訓練模型。
