溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
如何分析spark內存調優的配置，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。
為啥不直接設置：spark.memory.storageFraction以減少存儲內存的占比。
大家可以思考一下，減少spark.memory.storageFraction，可行嗎？
明顯是不太可行的，這個是沒有理解這兩個參數的含義。
要知道spark的大部分內存分為執行內存和存儲內存。他們共享一個存儲空間M。同時，存儲內存在執行內存空閑的時候可以占用執行內存空間，執行內存也可以在存儲內存大于一個閾值R的時候占用存儲內存。R代表緩存不可被清除的最小存儲內存。
M和R的計算如下：
1),spark.memory.fraction將M的大小表示為（JVM堆空間 - 300MB）的一部分（默認為0.75，新版本如spark2.2改為0.6）。剩余的空間（25％，對應的新版本是0.4）用于用戶數據結構，Spark中的內部元數據，并且在稀疏和異常大的記錄的情況下保護OOM錯誤。2),spark.memory.storageFraction表示R的大小作為M的一部分（默認為0.5）。R是M內的存儲空間，其中緩存的塊免于被執行器驅逐。
然后就會明白，假如我們單純的減少spark.memory.storageFraction是行不通的，因為存儲內存可以占用執行內存進行緩存，緩解不了老年代被吃滿的狀況，所以只能調整spark.memory.fraction。
1.當然，除了這樣，還可以減少年輕代大小，前提是不影響性能。
2.spark最騷的操作是，沒有加內存解決不了的問題，假如有那是沒加夠。
看完上述內容，你們掌握如何分析spark內存調優的配置的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
