有關Apache NiFi的5大常見問題分別是什么

今天給大家介紹一下有關Apache NiFi的5大常見問題分別是什么。文章的內容小編覺得不錯，現在給大家分享一下，覺得有需要的朋友可以了解一下，希望對大家有所幫助，下面跟著小編的思路一起來閱讀吧。

MiNiFi是用于從遠程位置的傳感器和設備上收集數據子集的代理。目的是幫助進行數據的“第一英里收集”，并獲取盡可能接近其來源的數據。 

這些設備可以是服務器、工作站和便攜式計算機，也可以是傳感器、自動駕駛汽車、工廠中的機器等，您希望在其中使用MiNiFi中的某些NiFi功能來收集特定數據。在將數據發送到目的地之前，可以對其進行過濾、選擇和分類。MiNiFi的目標是使用Edge Flow Manager大規模管理整個流程，以便運營或IT團隊可以部署不同的流程定義并根據業務需要收集任何數據。以下是一些需要考慮的細節：

• NiFi被設計為通常位于數據中心或云中的中央位置，以在已知的外部系統（如數據庫、對象存儲等）中移動數據或從中收集數據。NiFi應該被視為將數據移回的網關在異構環境或混合云體系結構中來回切換。

• MiNiFi在主機上本地運行，進行一些計算和邏輯運算，并且僅將您關心的數據發送到外部系統以進行數據分發。這樣的系統當然可以是NiFi，但也可以是MQTT代理、云提供商服務等。MiNiFi還支持一些用例，在這些用例中，網絡帶寬可能受到限制，需要減少通過網絡發送的數據量。  

• MiNiFi代理有兩個版本：C ++和Java。MiNiFi C ++選項的占用空間非常小（幾MB的內存，很少的CPU），但是可用的處理器卻更少。MiNiFi Java選項是輕量級的NiFi單節點實例，是NiFi的無頭版本，他沒有用戶界面也沒有集群功能。盡管如此，它仍要求Java在主機上可用。

這是一個很好的問題，許多參加我的Live NiFi Demo Jam的人都問了這個問題。您可以通過以下方式確定何時使用NiFi和何時使用Kafka。 

• Kafka設計用于主要針對較小文件的面向流的用例，然而攝取大文件不是一個好主意。NiFi完全與數據大小無關，因為文件大小與NiFi無關。

• Kafka就像一個將數據存儲在Kafka主題中的郵箱，等待應用程序發布和/或使用它。NiFi就像郵遞員一樣，將數據傳遞到郵箱或其他目的地。

• NiFi提供了廣泛的協議（MQTT、Kafka協議、HTTP、Syslog、JDBC、TCP / UDP等）可以在數據導入時進行交互。NiFi是一款出色、一致且獨特的軟件，可以管理您的所有數據提取。您可能要考慮將數據發送到Kafka，以用于多個下游應用程序。但是，NiFi應該成為獲取數據的網關，因為它支持多種協議，并且可以在相同的簡單拖放界面中滿足數據需求，從而使ROI很高。  

• 使用NiFi將數據安全地移動到多個位置，尤其是采用多云策略時。

• Kafka Connect可以回答一些問題，但是當您在移動數據時需要復雜的過濾、路由、擴充和轉換時，這不是通用的解決方案。

• NiFi還基于可擴展框架構建，該框架為用戶提供了簡便的方法來擴展NiFi的功能并快速構建非常自定義的數據移動流。

我們的客戶使用NiFi公開REST API，供外部來源將數據發送到目的地。最常見的協議是HTTP。

• 如果您的目標是獲取數據，則可以在NIFi中使用ListenHTTP處理器，讓它偵聽HTTP請求的給定端口，然后可以向其發送任何數據。

• 如果要使用NiFi提供Web服務，請查看HandleHTTPRequest和HandleHTTPResponse處理器。通過使用兩個處理器的組合，您將通過HTTP接收來自外部客戶端的請求。您將能夠對請求中的數據進行處理，并將自定義答案/結果發送回客戶端。例如，您可以使用NiFi通過HTTP訪問外部系統，例如FTP服務器。您將使用兩個處理器并通過HTTP發出請求。當您在NIFi中收到查詢時，NiFi會針對FTP服務器進行查詢以獲取文件，然后將文件發送回客戶端。

• 使用NiFi，所有這些獨特的請求都可以很好地擴展。在這種用例中，NiFi將根據需求進行水平擴展，并在NiFi實例的前面設置負載均衡器，以平衡集群中NiFi節點之間的負載。 

NiFi提供了非常細粒度的多租戶和策略模型。設置正確的策略以在多租戶環境中提供NiFi很容易。您可以輕松地在NiFi中使用不同的策略集定義多個流程組，因此您有一個專用于處理用例1的團隊A的流程組，以及一個專用于用例2的團隊B的流程組。考慮：

• NiFi確保不同的團隊不應該訪問其他流程組。使用Apache Ranger或NiFi中的內部策略可以輕松進行設置。您可以讓多個團隊在同一個NiFi環境中處理大量用例。  

• 在NiFi集群中，所有資源均由所有現有流共享，并且沒有資源隔離。例如，NiFi無法為用例＃1分配60％的資源，而為用例＃2分配40％的資源。對于關鍵用例，大多數客戶將擁有專用的NiFi群集，以確保滿足SLA。NiFi提供了監視功能，以確保在群集內正確使用資源并在群集過小時發出警報。   

• 在2021年，Cloudera將發布新解決方案，使客戶能夠在大小合適的專用NiFi群集中運行NiFi流，并在自動縮放（上下）的k8上運行。此選項可確保每個用例在一段時間內使用所需的內容，而不會影響其他用例。

對于某些用例，NiFi當然可以代替ETL，也可以用于批處理。但是，應該考慮用例所需的處理/轉換類型。在NiFi中，流文件是描述流過事件、對象和數據的方式。雖然您可以在NiFi中為每個Flow File執行任何轉換，但您可能不想使用NiFi將Flow File基于公共列連接在一起或執行某些類型的窗口聚合。在這種情況下，Cloudera建議使用其他解決方案。

那么有什么建議呢？

• 在流使用情況下，最好的選擇是使用NiFi中的記錄處理器將記錄發送到一個或多個Kafka主題。然后，基于我們對Eventador的收購，您可以讓Flink使用Continuous SQL對數據進行所有想要的處理（加入流或執行窗口操作）。  

• 在批處理用例中，您會將NiFi視為ELT而不是ETL（E =提取，T =轉換，L =加載）。NiFi會捕獲各種數據集，對每個數據集進行所需的轉換（模式驗證、格式轉換、數據清理等），然后將數據集發送到由Hive支持的數據倉庫中。將數據發送到那里后，NiFi可能會觸發Hive查詢以執行聯合操作。

我希望這些答案有助于您確定如何使用NiFi以及它可以為您的業務需求帶來的好處的數據旅程。我們將通過問答環節主持更多現場演示，以涵蓋特定主題，例如監控NiFi流量以及如何使用NiFi自動化流量部署。實際上，我們在NiFi上有很多問題值得他們參加！ 

以上就是有關Apache NiFi的5大常見問題分別是什么的全部內容了，更多與有關Apache NiFi的5大常見問題分別是什么相關的內容可以搜索億速云之前的文章或者瀏覽下面的文章進行學習哈！相信小編會給大家增添更多知識,希望大家能夠支持一下億速云！