亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

怎么使用Cloudera數據工程分析薪資保護計劃數據

發布時間:2021-11-10 09:57:15 來源:億速云 閱讀:131 作者:柒染 欄目:大數據

本篇文章為大家展示了怎么使用Cloudera數據工程分析薪資保護計劃數據,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。 

薪酬保護計劃(PPP)由美國聯邦政府實施,旨在為企業提供直接激勵措施,以使員工保持工資,特別是在Covid-19大流行期間。PPP幫助合格的企業保留其勞動力,并幫助支付相關業務費用。從數據  美國財政部的網站 ,其公司獲得PPP貸款,許多工作是如何保留節目。美國財政部批準了全美大約100萬筆PPP貸款。
對這些數據的分析提出了三個挑戰。首先,數據量很大。提取、整理、轉換、檢索和報告該數據的時間非常耗時。其次,數據集可能會發展,這將消耗額外的開發時間和資源。最后,在這樣的多階段過程中,事情可能會破裂。快速確定錯誤或瓶頸的能力將有助于一致地滿足SLA。
這里說明了  Cloudera  數據工程 (CDE)中如何使用Apache Spark用于基于PPP數據的報告,同時解決上述所有挑戰。
目的
下面設置了德克薩斯州立法預算委員會(LBB)的模擬方案,以幫助數據工程師管理和分析PPP數據。該數據工程師的主要目標是向LBB提供兩個最終報告:

? 報告1:德克薩斯州所有保留工作的城市的細目分類

? 報告2:保留職位的公司類型明細

Cloudera數據工程(CDE)
這是運行Apache Spark的Cloudera數據工程(CDE)可以提供幫助的地方。  CDE是Cloudera Data Platform(CDP)中的一項服務,它允許數據工程師創建,管理和調度Apache Spark作業,同時提供有用的工具來監視作業性能,訪問日志文件以及通過Apache Airflow編排工作流程。  Apache Spark是一個數據處理框架,能夠快速運行大規模數據處理。  
美國財政部提供了兩種不同的數據集,一種用于大于15萬美元的批準貸款,另一種用于15萬美元以下的批準貸款。為了生成LBB的兩個最終報告,請遵循以下步驟(見圖1)。

? 第一步是將兩個單獨的數據集加載到S3存儲桶中。

? 為每個數據集創建了一個Spark作業,以從S3存儲桶中提取和過濾數據。

? 這兩個Spark作業將轉換干凈數據并將其加載到Hive數據倉庫中以進行檢索。

? 創建了第三個Spark作業,以處理來自Hive數據倉庫的數據以創建兩個報告。

作業運行完成后,CDE將提供每個Spark作業內各個階段的圖形表示(參見圖2)。這使數據工程師可以輕松地查看工作中哪些部分可能花費最多的時間,從而使他們可以輕松地完善和改進代碼,從而最好地滿足客戶的SLA。
怎么使用Cloudera數據工程分析薪資保護計劃數據
圖  1  :數據行程以生成兩個最終報告。
 
怎么使用Cloudera數據工程分析薪資保護計劃數據
圖  2  :各種  Spark  階段的  CDE  圖形表示。

 
結論
實現了從一百萬個批準申請人的記錄中生成兩個最終報告的主要目標。第一份報告的圖形摘要(請參見圖3)顯示了德克薩斯州每個城市保留的職位數量的前10個樣本,第二份報告(見圖4)顯示了保留的職位數排名前5的樣本按公司類型。例如,借助這些報告,德克薩斯州立法預算委員會可以推斷出人均保留工作量最少的城市可能需要資源來減輕任何經濟影響。
怎么使用Cloudera數據工程分析薪資保護計劃數據
圖  3  :  2020  年德克薩斯州保留最多職位的十大城市
 
怎么使用Cloudera數據工程分析薪資保護計劃數據
圖  4  :保留最多職位的  5  大公司類型,德克薩斯州,  2020  年

上述內容就是怎么使用Cloudera數據工程分析薪資保護計劃數據,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

屏边| 赤城县| 芮城县| 阳信县| 南川市| 沁源县| 乌鲁木齐县| 焦作市| 灯塔市| 隆林| 资阳市| 遵义市| 穆棱市| 格尔木市| 渝北区| 务川| 平武县| 观塘区| 砀山县| 麻江县| 达孜县| 奇台县| 霍山县| 商丘市| 莒南县| 中牟县| 池州市| 夏津县| 平阳县| 孟津县| 克什克腾旗| 雷州市| 榆树市| 江华| 万宁市| 竹溪县| 梨树县| 女性| 怀化市| 沙坪坝区| 长春市|