如何保護Hadoop環境

這篇文章將為大家詳細講解有關如何保護Hadoop環境，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Hadoop生態系統有資源來支持安全性。Knox和Ranger是兩個重要的Apache開源項目。Knox提供了用于管理安全性的框架，并支持Hadoop集群上的安全性實施。

Ranger項目專注于開發工具和技術，以幫助用戶跨Hadoop集群部署和標準化安全性。它提供了一個集中式框架，可用于管理資源級別的策略，例如文件、文件夾、數據庫、甚至數據庫中的特定行和列。Ranger幫助管理員按組、數據類型等實現訪問策略。Ranger對不同的Hadoop組件（例如YARN、HBase、Hive等）具有不同的授權功能。

Knox是在Apache社區內開發的REST API網關，用于支持對Hadoop集群的監視、授權管理、審計和策略實施。它為與群集的所有REST交互提供了單個訪問點。通過Knox，系統管理員可以通過LDAP和Active Directory管理身份驗證，進行基于HTTP標頭的聯合身份管理，以及在群集上審核硬件。Knox還支持增強的安全性，因為它可以與企業身份管理解決方案集成并且與Kerberos兼容。

原始的Hadoop版本不包含加密。更高的版本包括端到端加密，可以保護在Hadoop集群中靜止的數據和在網絡中移動時的數據。在當前版本中，HFDS中存儲或通過HFDS訪問的所有數據均已可以加密。Hadoop支持在磁盤、文件系統、數據庫和應用程序級別進行加密。

在Hadoop核心技術中，HFDS具有稱為加密區域的目錄。將數據寫入Hadoop后，將自動對其進行加密（使用用戶選擇的算法），并將其分配給加密區域。加密特定于文件，而不特定于區域。這意味著該區域內的每個文件都使用其自己的唯一數據加密密鑰（DEK）進行加密。客戶端使用加密的數據加密密鑰（EDEK）從HFDS解密數據，然后使用DEK讀取和寫入數據。加密區域和DEK加密發生在體系結構的文件系統和數據庫級別之間。

需要管理加密密鑰，這是Hadoop 密鑰管理服務器（即KMS）的工作。KMS生成加密密鑰，管理對存儲密鑰的訪問，并管理HDFS客戶端上的加密和解密。KMS是具有客戶端和服務器組件的Java Web應用程序，它們使用HTTP和REST API相互通信。KMS中的安全性包括HTTPS安全傳輸和對HTTP SPNEGO Kerboros身份驗證的支持。

Hadoop發行供應商和其他解決方案提供商已開發了特定于其產品或適用于整個Hadoop環境的附加安全性。許多增強功能致力于在移動數據時保護Hadoop數據。例如，存在可以應用于通過HTTP、RPC、數據傳輸協議（DTP）和JDBC傳輸的Hadoop數據的Wire加密協議。還為JDBC客戶端和MapReduce改組提供了SSL保護，為網絡RPC提供了SASL等。

Hadoop環境中的身份驗證經歷了快速而廣泛的發展。最初的Hadoop版本不包含任何用于驗證用戶身份的條款，因為這是旨在在受信任環境中使用的有限項目。隨后的發行版為HDFS中的文件添加了有限的權限管理功能，但是Hadoop仍未能提供企業級身份驗證安全性。快進到今天，企業用于其核心IT基礎架構的用戶身份驗證和身份管理解決方案可以擴展到Hadoop環境。

如今，Hadoop可在安全或非安全模式下進行配置。主要區別在于安全模式要求對每個用戶和服務進行身份驗證。Kerberos是Hadoop安全模式下身份驗證的基礎。數據作為身份驗證過程的一部分進行加密。

許多組織使用其Active Directory或LDAP解決方案在Hadoop環境中執行身份驗證。該方法以前與Hadoop環境不兼容，并且很好地表示了Hadoop的成熟和發展方式。來自Apache Hadoop項目的Knox API用于將Active Directory或LDAP擴展到Hadoop集群。它還用于將聯合身份管理解決方案擴展到環境中。

對用戶或服務請求進行身份驗證不會自動為它授予對Hadoop集群中所有數據的不受限制的訪問權限。可以為部分HDFS甚至特定文件和數據類型設置訪問權限。如前所述，Ranger促進了權限的建立和實施。也可以使用其他資源。HDFS權限指南是允許設置包含在HFDS目錄和文件權限的管理員的組件。可以在組和個人級別上設置權限。權限包括誰可以訪問文件、更新文件、刪除文件等。服務級別授權是一項單獨的功能，用于驗證嘗試連接到特定Hadoop服務的客戶端是否有權訪問該服務。像《 HDFS權限指南》一樣，服務級別授權支持個人和組權限。Sentry是一個與Hive、HDFS數據表、Impala和其他組件一起使用的模塊，旨在為Hadoop集群中的數據和元數據提供更精細的權限管理。

Ranger，HDFS權限指南，服務級別授權和Sentry是Hadoop項目的一部分。再次，各種Hadoop商業版本中都內置了其他權限保護以及相關的安全性和管理功能。

企業通常還使用各種商業解決方案在Hadoop中執行數據掩碼。數據掩碼是指隱藏原始數據記錄（通過加密）的做法，這樣未經授權的用戶就無法訪問它們。數據掩碼是在大數據環境中完成的，因為許多應用程序需要來自數據集的某些信息，而不是完整的記錄。例如，影像診所可能需要知道六個月內在一家機構中有多少患者接受了乳房X光檢查，而無需知道患者的結果或完整的病史。患者結果數據將與需要不同權限的臨床醫生有關。

從定義上講，大數據是大數據，但一種萬能的安全方法是不合適的。Hadoop中的功能使組織可以優化安全性，以滿足Hadoop環境中所有單獨數據資產的用戶，合規性和公司要求。諸如角色，用戶和組權限，數據掩碼以及多種加密和身份驗證選項之類的功能使在單個大型環境中提供不同級別的安全性變得切實可行。Hadoop與Active Directory，LDAP和身份管理解決方案之間日益增長的集成支持使組織可以擴展其企業安全解決方案，因此Hadoop基礎架構不必成為孤島。

安全性是Hadoop變化最快的方面之一。功能不斷增強和超越。有關最新的安全更新，請與Apache項目或Hadoop發行商聯系。

關于“如何保護Hadoop環境”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。