您好,登錄后才能下訂單哦!
本篇內容主要講解“Spark3.0的新特性有哪些”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“Spark3.0的新特性有哪些”吧!
Spark 3.0 主要的新特性如下:
相比于Spark2.4,性能提升了2倍,主要體現在自適應查詢執行,動態分區修剪等方面。
Pandas API改動,包括Python類型的提示和UDF函數。
對于PySpark的異常處理進行了增強。
新的Structured Streaming UI頁面。
而且解決了大量Jira問題。
Structured Streaming最初于Spark 2.0引入,并且停止了SparkStreaming的更新,很明顯Structured Streaming的出現是為了在實時計算領域可以與對水印,窗口等支持更好的Flink一戰。
3.0版本添加Structured Streaming的專用UI,可以方便的查看流作業的執行信息。
雖然與Flink比起來,Structured Streaming還有很長的路要走,但是可以期待Spark 3.0版本對于Structured Streaming的持續加強。
到此,相信大家對“Spark3.0的新特性有哪些”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。