Transparent Hugepages該如何理解

Transparent Hugepages該如何理解，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

用過不少種類的數據庫的人會遇到一個問題, transparent Hugepages 在不少的數據庫中都被提到 disabled, turn off . Why should we turn off the transparent hugepage ?

透明的巨型頁面是 transparenet 的專用中文釋義名詞,對于LINUX kernel 來說 page, 頁面相當于一個內存的unit, (其實對于數據庫來說,大部分也是).默認來說是2048KB, 當然有的不是.

transparent Huge pages 允許為頻繁頻繁訪問的數據保留相關的資源,打開他的確是可以提高系統的性能,保持數據滯留在linux 內存中.

在LINUX 中有一項建議(非數據庫服務器), 設置3/8 以內的內存為transparenet huge page. 因為部分LINIUX的應用也不能使用transparenet huge page. 而在Linux內核中包括了 THP 的壓縮功能,壓縮的操作對資源是密集型的操作,對整體的系統性能是有影響的.

那么問題回到一個basement level , 為什么會有 HP  THP, 這樣的東西,大部分的應用程序和OS 運行在虛擬內存中,虛擬內存,虛擬內存就是物理內存的映射,相當于地址轉換,CPU通過 cpu's memory management unit  簡稱mmu來訪問, 自然MMU也有自己的cache 來緩存經常訪問的頁面.這個cache 叫, Translation lookside buffer(TLB), 但實際上CPU 訪問的內存數量越來越多

后,會帶來訪問率或者叫命中率的降低, 那解決的方法有兩種

1  提高 TLB 的大小 (這不容易,這是硬件的問題)

2  將每次尋址的單元擴大, 也就是以前一個頁面 4KB,那我們將一個頁面變為1MB ,這樣訪問的效率不就提升了. 所以就有了HP  THP 這樣的東西了.

那這樣的問題就產生了新的問題,一次盡量訪問更多的內存, 但內存也有碎片,也不見得一次是完整的連續的空間, 如果不能滿足HP THP 的需求, 則系統會對頁面進行換出, 壓縮 這樣一番下來,會出現一個名詞叫 latency spikes  , 會嚴重影響訪問的時間和性能.

而為什么有些數據庫要禁用掉THP ,主要的原因是這類數據庫大部分訪問內存的方式是分散的,并不是訪問連續的頁面,而這樣的訪問模式,就會造成內存的碎片化.訪問的page 不也不是大量連續性的. 并且在不啟用THP 時申請4KB的內存時,LINUX會分配相應的內存給應用, 但如果是在系統級別啟用了THP,則類似數據庫申請內存時,即使申請的值是4KB ,但分配是會以大于4KB例如 2MB 來進行分配,這樣數據庫申請使用內存的方式也會出現問題,和相關的損耗.

值得說明的是大部分數據庫都會建議你關閉 THP , 包括 MYSQL  POSTGRESQL  ORACLE 等數據庫也是建議關閉THP. 

但PostgreSQL 中有一個設置從PG9.4而來, Huge Page 并且有三個參數 ON OFF  TRY,默認使用 try ,內核中有足夠的大頁面，PostgreSQL將嘗試使用大頁面，若沒有就不使用它。強制使用巨大的頁面，內核沒有足夠大的頁面則PostgreSQL將無法啟動。HugePages可以通過顯著減少內存頁表中的頁表條目數量來提高系統性能,要讓應用程序使用HugePages，需要顯式指令。用這種方式更改應用程序有時可以,有時不行，需要在系統管理級別進行重新設計。因此，引入了透明巨頁(THP)技術。如果啟用，它可能會在應用程序實際上“不知道”的情況下為應用程序分配巨大的頁面;因此,透明度。

猜測這也就是PG 為什么支持HP 而建議關閉THP的原因之一吧

關于Transparent Hugepages該如何理解問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。