tensorflow中參數初始化方法有哪些

這篇文章將為大家詳細講解有關tensorflow中參數初始化方法有哪些，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

在tensorflow中，經常會遇到參數初始化問題，比如在訓練自己的詞向量時，需要對原始的embeddigs矩陣進行初始化，更一般的，在全連接神經網絡中，每層的權值w也需要進行初始化。

tensorlfow中應該有一下幾種初始化方法

1. tf.constant_initializer() 常數初始化
2. tf.ones_initializer() 全1初始化
3. tf.zeros_initializer() 全0初始化
4. tf.random_uniform_initializer() 均勻分布初始化
5. tf.random_normal_initializer() 正態分布初始化
6. tf.truncated_normal_initializer() 截斷正態分布初始化
7. tf.uniform_unit_scaling_initializer() 這種方法輸入方差是常數
8. tf.variance_scaling_initializer() 自適應初始化
9. tf.orthogonal_initializer() 生成正交矩陣

具體的

1、tf.constant_initializer()，它的簡寫是tf.Constant()

#coding:utf-8
import numpy as np 
import tensorflow as tf 
train_inputs = [[1,2],[1,4],[3,2]]
with tf.variable_scope("embedding-layer"):
  val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]])
  const_init = tf.constant_initializer(val)
  embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init)
  embed = tf.nn.embedding_lookup(embeddings, train_inputs)             #在embedding中查找train_input所對應的表示
  print("embed",embed)
  sum_embed = tf.reduce_mean(embed,1)
initall = tf.global_variables_initializer()
with tf.Session() as sess:
  sess.run(initall)
  print(sess.run(embed))
  print(sess.run(tf.shape(embed)))
  print(sess.run(sum_embed))

4、random_uniform_initializer = RandomUniform()

可簡寫為tf.RandomUniform()

生成均勻分布的隨機數，參數有四個（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分別用于指定最小值，最大值，隨機數種子和類型。

6、tf.truncated_normal_initializer()

可簡寫tf.TruncatedNormal()

生成截斷正態分布的隨機數，這個初始化方法在tf中用得比較多。

它有四個參數（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分別用于指定均值、標準差、隨機數種子和隨機數的數據類型，一般只需要設置stddev這一個參數就可以了。

8、tf.variance_scaling_initializer()

可簡寫為tf.VarianceScaling()

參數為（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)

scale: 縮放尺度（正浮點數）

mode: "fan_in", "fan_out", "fan_avg"中的一個，用于計算標準差stddev的值。

distribution：分布類型，"normal"或“uniform"中的一個。

當 distribution="normal" 的時候，生成truncated normal distribution（截斷正態分布） 的隨機數，其中stddev = sqrt(scale / n) ，n的計算與mode參數有關。

如果mode = "fan_in"， n為輸入單元的結點數；

如果mode = "fan_out"，n為輸出單元的結點數；

如果mode = "fan_avg",n為輸入和輸出單元結點數的平均值。

當distribution="uniform”的時候 ，生成均勻分布的隨機數，假設分布區間為[-limit, limit]，則 limit = sqrt(3 * scale / n)

關于“tensorflow中參數初始化方法有哪些”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。