溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了“hive文件存儲格式有哪些”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“hive文件存儲格式有哪些”這篇文章吧。
Hive文件存儲格式的測試比較
1.textfile
textfile為默認格式
存儲方式：行存儲
磁盤開銷大 數據解析開銷大
壓縮的text文件 hive無法進行合并和拆分
2.sequencefile
二進制文件,以<key,value>的形式序列化到文件中
存儲方式：行存儲
可分割 壓縮
一般選擇block壓縮
優勢是文件和hadoop api中的mapfile是相互兼容的。
3.rcfile
存儲方式：數據按行分塊 每塊按照列存儲
壓縮快 快速列存取
讀記錄盡量涉及到的block最少
讀取需要的列只需要讀取每個row group 的頭部定義。
讀取全量數據的操作 性能可能比sequencefile沒有明顯的優勢
4.orc
存儲方式：數據按行分塊 每塊按照列存儲
壓縮快 快速列存取
效率比rcfile高,是rcfile的改良版本
5.自定義格式
用戶可以通過實現inputformat和 outputformat來自定義輸入輸出格式。
總結：
textfile 存儲空間消耗比較大，并且壓縮的text 無法分割和合并 查詢的效率最低,可以直接存儲，加載數據的速度最高
sequencefile 存儲空間消耗最大,壓縮的文件可以分割和合并 查詢效率高，需要通過text文件轉化來加載
rcfile 存儲空間最小，查詢的效率最高 ，需要通過text文件轉化來加載，加載的速度最低
個人建議：text,seqfile能不用就盡量不要用 最好是選擇orc
以上是“hive文件存儲格式有哪些”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
