大數據安全規范的示例分析

這篇文章將為大家詳細講解有關 大數據安全規范的示例分析，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

大數據安全規范

一、概述

大數據的安全體系分為五個層次：周邊安全、數據安全、訪問安全(認證 - authentication和授權 - authorization)、訪問行為可見、錯誤處理和異常管理。下面依次說明：

1.周邊安全技術即傳統意義上提到的網絡安全技術，如防火墻等;

2.數據安全包括對數據的加解密,又可細分為存儲加密和傳輸加密;還包括對數據的脫敏;

3.訪問安全主要是對用戶的認證和授權兩個方面：

用戶認證(Authentication)
即是對用戶身份進行核對， 確認用戶即是其聲明的身份， 這里包括用戶和服務的認證

用戶授權(Authorization)

即是權限控制，對特定資源， 特定訪問用戶進行授權或拒絕訪問。用戶授權是建立再用戶認證的基礎上，沒有可靠的用戶認證談不上用戶授權。

訪問安全還包括數據驗證(data validation)

1> type.   int string等
2> format. phone email等
3> length.
4> range.
5> precense or absence.
6> match in lookup tables.
7> other bussiness rules 

4.訪問行為可見多指記錄用戶對系統的訪問行為(審計和日志)：如查看哪個文件;運行了哪些查詢;訪問行為監控一方面為了進行實時報警,迅速處置危險的訪問行為;另一方面為了事后調查取證，從長期的數據訪問行為中分析定位特定的目的。

 5.錯誤處理和異常管理

這個主要是針對錯誤發現，一般做法是建立并逐步完善的監控系統，對可能發生或已發生的情況進行預警或者告警。還包括異常攻擊事件監測，目前發現的針對攻擊的辦法有:

1>攻擊鏈分析，按照威脅檢測的時間進行分析，描述攻擊鏈條

2>相同類型的攻擊事件進行合并統計

3>異常流量學習正常訪問流量，流量異常時進行告警

在這五個層次中，第三層(訪問安全)同業務的關系最為直接：應用程序的多租戶,分權限訪問控制都直接依賴這一層的技術實現,那么我們的重點也將放在這一層上。眾所周知的是, hadoop本身提供的認證(主要是kerberos)不易維護，授權(主要是ACL)又很粗粒度，為此我們通過對兩個重量級公司(Cloudera和Hortonworks)開源的關于安全的服務進行對比(參見博文)后決定使用Hortonworks開源的Ranger。 Ranger為企業級hadoop生態服務提供了許多安全套件，通過集中化權限管理為用戶/組提供文件、文件夾、數據庫、表及列的認證、授權控制，還可以提供審計(通過solr進行查詢)，新推出的RangerKMS還支持對hdfs數據加密等

二、大數據平臺安全規范之訪問安全

2.1用戶身份認證

通過Ranger提供的用戶/組同步功能實現認證，Ranger可以整合Unix或者LDAP進行用戶認證管理

2.2 用戶權限管理

2.2.1 賬號管理

帳號分為運維帳號和開發用戶帳號。

運維帳號按服務拆為多個賬號，不同的賬號操作不同的服務,具體如下：

開發用戶賬號，每個用戶一個帳號，按團隊分組，不同的賬號或組操作不同的文件或表，如果需要操作別人的數據，需要運維進行授權

2.2.2 目錄和文件規范

2.2.3 用戶權限管理

權限管理有2種方案，ACL方案（粗粒度）和 ranger方案（細粒度），基于我們的數據需求，先考慮使用ranger提供的細粒度權限控制

使用Ranger UI界面進行權限的管理，目前各個服務提供的權限如下：

團隊權限分配

個人帳號：在線上操作要精確到個人

申請權限流程：

 每個團隊的leader向管理員提出申請，經過評審通過后方可授予相應的權限

關于 大數據安全規范的示例分析就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。