tensorflow之內存暴漲問題的示例分析

這篇文章主要介紹tensorflow之內存暴漲問題的示例分析，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

在用tensorflow實現一些模型的時候，有時候我們在運行程序的時候，會發現程序占用的內存在不斷增長。最后內存溢出，程序被kill掉了。

這個問題，其實有兩個可能性。一個是比較常見，同時也是很難發現的。這個問題的解決，需要我們知道tensorflow在構圖的時候，是沒有所謂的臨時變量的，只要有operator。那么tensorflow就會在構建的圖中增加這個operator所代表的節點。所以，在運行程序的過程中，內存不斷增長的原因就是在模型訓練迭代的過程中，tensorflow一直在幫你增加圖的節點。導致內存占用越來越多。

那么什么情況下就會像上面說的那樣呢？我們舉個例子：

import tensorflow as tf

x = tf.Variable(tf.constant(1))
y = tf.constant(2)
sess = tf.Session()
sess.run(tf.global_variables_initializer())

while True:
 print(sess.run(x+y))

如果你運行上面這段代碼，會發現在運行的過程中，內存占用越來越大。原因就在于sess.run(x+y)這個語句。我們知道在tensorflow中，所有的操作都是graph的節點。而在迭代的過程中，x+y這個operator(操作)是匿名的，所以它會不斷地重復，在graph中創建節點，導致內存占用越來越大。

所以要對上面的代碼進行修改：

z = x+y
while True:
 print(sess.run(z))

這樣就不會出現問題了。

上面只是一個簡單的例子，我們可以很快發現問題。但是有時候我們的模型比較復雜，很難判斷是否在迭代的過程中一直在增加節點。那怎么辦呢？

其實在tensorflow里面有個函數叫做：

sess.graph.finalize()

只要每一次構圖完成后，調用這個函數。然后運行程序，如果你的程序在運行的過程中還一直新建節點，這個函數就會檢測到，然后就會報錯。這樣你就知道你的程序中一定有不合理的地方。

另一個導致內存暴漲的原因是，數據的加載問題。tensorflow現在有一個API接口，tf.data.Dataset 。這個接口里面有個函數叫做cache(filename)。cache函數的作用是將加載進來的數據存放到filename指定的地方。但是如果我們沒有指定filename，數據就是一直存儲在內存中。所以，隨著迭代次數的增加，存儲在內存中的數據越來越多，就會導致內存暴漲。所以要么不要使用這個函數，要么就要記得添加filename參數。

以上是“tensorflow之內存暴漲問題的示例分析”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！