Flink基礎知識有哪些

本篇內容介紹了“Flink基礎知識有哪些”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

Apache Flink是由Apache軟件基金會開發的開源流處理框架，其核心是用Java和Scala編寫的分布式流數據流引擎。Flink以數據并行和流水線方式執行任意流數據程序，Flink的流水線運行時系統可以執行批處理和流處理程序。此外，Flink的運行時本身也支持迭代算法的執行。

目前Apache Flink為全球許多公司和企業的關鍵業務提供支持，國內國外許多一線大廠與IT公司將實時數據方案采用了Flink來做大數據分析與實時處理，如國內的：阿里、華為、電信、移動、快手、小米、oppo、唯品會等等，因此Flink是做為大數據實時分析與處理中必學的一種技術應用架構；

官方介紹

Apache Flink 是一個在無界和有界數據流上進行狀態計算的框架和分布式處理引擎。 Flink 已經可以在所有常見的集群環境中運行，并以 in-memory 的速度和任意的規模進行計算。

處理無界和有界數據

任何類型的數據都可以形成一種事件流。信用卡交易、傳感器測量、機器日志、網站或移動應用程序上的用戶交互記錄，所有這些數據都形成一種流。

數據可以被作為 無界或者 有界流來處理。

1.無界流 有定義流的開始，但沒有定義流的結束。它們會無休止地產生數據。無界流的數據必須持續處理，即數據被攝取后需要立刻處理。我們不能等到所有數據都到達再處理，因為輸入是無限的，在任何時候輸入都不會完成。處理無界數據通常要求以特定順序攝取事件，例如事件發生的順序，以便能夠推斷結果的完整性。

2.有界流 有定義流的開始，也有定義流的結束。有界流可以在攝取所有數據后再進行計算。有界流所有數據可以被排序，所以并不需要有序攝取。有界流處理通常被稱為批處理

Apache Flink 擅長處理無界和有界數據集 精確的時間控制和狀態化使得 Flink 的運行時(runtime)能夠運行任何處理無界流的應用。有界流則由一些專為固定大小數據集特殊設計的算法和數據結構進行內部處理，產生了出色的性能。

部署應用到任意地方

Apache Flink 是一個分布式系統，它需要計算資源來執行應用程序。Flink 集成了所有常見的集群資源管理器，例如 Hadoop YARN、 Apache Mesos 和 Kubernetes，但同時也可以作為獨立集群運行。

Flink 被設計為能夠很好地工作在上述每個資源管理器中，這是通過資源管理器特定(resource-manager-specific)的部署模式實現的。Flink 可以采用與當前資源管理器相適應的方式進行交互。

部署 Flink 應用程序時，Flink 會根據應用程序配置的并行性自動標識所需的資源，并從資源管理器請求這些資源。在發生故障的情況下，Flink 通過請求新資源來替換發生故障的容器。提交或控制應用程序的所有通信都是通過 REST 調用進行的，這可以簡化 Flink 與各種環境中的集成。

運行任意規模應用

Flink 旨在任意規模上運行有狀態流式應用。因此，應用程序被并行化為可能數千個任務，這些任務分布在集群中并發執行。所以應用程序能夠充分利用無盡的 CPU、內存、磁盤和網絡 IO。而且 Flink 很容易維護非常大的應用程序狀態。其異步和增量的檢查點算法對處理延遲產生最小的影響，同時保證精確一次狀態的一致性。

Flink 用戶報告了其生產環境中一些令人印象深刻的擴展性數字

• 處理每天處理數萬億的事件。

• 應用維護幾TB大小的狀態。

• 應用在數千個內核上運行。

利用內存性能

有狀態的 Flink 程序針對本地狀態訪問進行了優化。任務的狀態始終保留在內存中，如果狀態大小超過可用內存，則會保存在能高效訪問的磁盤數據結構中。任務通過訪問本地（通常在內存中）狀態來進行所有的計算，從而產生非常低的處理延遲。Flink 通過定期和異步地對本地狀態進行持久化存儲來保證故障場景下精確一次的狀態一致性。

“Flink基礎知識有哪些”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！