怎么在CDP上使用NiFi、Kafka和HBase構建可擴展流程

發布時間：2021-07-12 16:38:40 來源：億速云閱讀：197 作者：chen 欄目：大數據

本篇內容介紹了“怎么在CDP上使用NiFi、Kafka和HBase構建可擴展流程”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

Navistar 是全球領先的商用卡車制造商。擁有350,000輛車的車隊，計劃外的維護和車輛故障會造成業務持續中斷。Navistar需要一個診斷平臺，該平臺將幫助他們預測何時需要維修車輛從而最大程度地減少停機時間。這個平臺需要能夠收集、分析和服務來自車隊中每輛車的70多種遠程信息處理和傳感器數據饋送，包括測量發動機性能、冷卻液溫度、卡車速度和制動器磨損的數據。Navistar求助于Cloudera，以幫助構建名為OnCommand?Connection的IoT的遠程診斷平臺，以監控其車輛的健康狀況并增加車輛的正常運行時間。

該博客演示了如何使用類似技術來解決范圍更小的問題，但與Navistar面臨的問題類似。數據是從經過高度修改的高性能Corvette（請參見圖1）中提取的，顯示了從外部源加載數據，使用 Apache NiFi 對其進行格式化，通過 Apache Kafka 將其推送到流源以及使用以下方法存儲數據的步驟。并使用 Apache HBase 進行有關的其他分析。

圖 1. 2008 年克爾維特（ Corvette ）與改進的 6.8 升發動機

對于此特定示例，所討論的Corvette已更換了所有原始的原廠發動機組件，而采用了性能更高的零件。發動機被拆下，殼體打孔，更換了曲軸和凸輪軸，并安裝了新的活塞和連桿，力爭達到約600馬力的目標（見圖2）。為了使新的引擎配置正常運行，引擎的軟件進行了全面檢修。當按下油門變得更加劇烈時，意想不到的結果是該車的原始診斷和錯誤系統不再準確，因此必須禁用。

圖 2. 使用所有新的閃亮內部零件進行引擎中間重建

為了捕獲和分析Corvette的傳感器數據，需要一條路徑，使數據從汽車流入替代的分析和診斷平臺。第一步是將便攜式計算機連接到Corvette的診斷端口（參見圖3），以將傳感器數據導入基于云的存儲位置。S3用于該項目。

圖 3. 筆記本電腦通過 USB 連接到診斷端口

下一步是使用數據多功能 Cloudera Data Platform CDP <a href="https://www.cloudera.com/products/discover-cloudera-data-platform.html" l="" "?internal_keyplay="CDP&internal_campaign=VideoTour&cid=VT&internal_link=h09-A-Watchnow""> ）來訪問將數據移至最終存儲目的地進行進一步分析所需的服務。使用 CDP Public Cloud ，建立了3個Data Hub，每個Data Hub都托管一組預先打包的開源服務（請參見圖4）：

? 第一個設置是NiFi，該服務旨在自動執行和管理數據流。NiFi用于將Corvette的數據導入、格式化和從源移動到其最終存儲點。

? 下一步是設置Kafka，這是一種實時流服務，可將大量數據作為流提供。Kafka提供了對數據進行流處理的功能，同時還允許其他用戶選擇訂閱數據流。在此示例中，沒有任何訂戶。但是，這是一個重要的概念，值得對如何設置進行演示。

? 最終設置是HBase，這是一個可伸縮的、面向列的操作數據庫，可提供實時的讀/寫訪問。將數據導入HBase后，Phoenix將用于查詢和檢索數據。

圖 4. Corvette 從源到查詢的數據流程圖。

使用CDP構建診斷平臺以監視Corvette的健康和性能是一項成功的練習。現在，使用NiFi和Kafka將傳感器數據格式化并將其流式傳輸到HBase中，無論數據集增長多少，都可以執行高級數據工程和處理。

“怎么在CDP上使用NiFi、Kafka和HBase構建可擴展流程”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！

向AI問一下細節

亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

怎么在CDP上使用NiFi、Kafka和HBase構建可擴展流程

猜你喜歡

亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

怎么在CDP上使用NiFi、Kafka和HBase構建可擴展流程

猜你喜歡

最新資訊

相關推薦

相關標簽