溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
今天就跟大家聊聊有關Spark SQL中怎么實現union操作，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。
union all是直接連接，取到得是所有值，記錄可能有重復
union 是取唯一值，記錄沒有重復
1、UNION 的語法如下：
[SQL 語句 1]
UNION
[SQL 語句 2]2、UNION ALL 的語法如下：
[SQL 語句 1]
UNION ALL
[SQL 語句 2]對比總結：
UNION和UNION ALL關鍵字都是將兩個結果集合并為一個，但這兩者從使用和效率上來說都有所不同。
1、對重復結果的處理：UNION在進行表鏈接后會篩選掉重復的記錄，Union All不會去除重復記錄。
2、對排序的處理：Union將會按照字段的順序進行排序；UNION ALL只是簡單的將兩個結果合并后就返回。
從效率上說，UNION ALL 要比UNION快很多，所以，如果可以確認合并的兩個結果集中不包含重復數據且不需要排序時的話，那么就使用UNION ALL。
Spark SQL
實際上Spark SQL的DataSet的API是沒有union all操作的，只有union操作，而且其union操作就是union all操作。
此時要實現union操作，需要在union之后加上distinct操作。
sales.union(sales).show()
輸出結果是有重復數據的
需要將操作更改為：
sales.union(sales).distinct().show()
看完上述內容，你們對Spark SQL中怎么實現union操作有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
