hive動態分區插入的實驗步驟和總結

這篇文章主要講解了“hive動態分區插入的實驗步驟和總結”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“hive動態分區插入的實驗步驟和總結”吧！

實驗目的
1. 驗證對分區表進行動態分區插入功能
2. 驗證是否可以使用load進行動態分區插入

實驗步驟
1. 在本地文件/home/grid/a.txt中寫入以下4行數據：
aaa,US,CA
aaa,US,CB
bbb,CA,BB
bbb,CA,BC

2. 建立非分區表并加載數據
CREATE TABLE t1 (name STRING, cty STRING, st STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;  
SELECT * FROM t1;  
dfs -ls /user/hive/warehouse/test.db/t1; 
執行命令及結果如圖1所示。

圖1
3. 建立外部分區表并動態加載數據
CREATE EXTERNAL TABLE t2 (name STRING) PARTITIONED BY (country STRING, state STRING);  
 
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
 
SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/; 
執行命令及結果如圖2所示。

圖2
可以看到，向內部分區表中加載了8條數據，動態建立了目錄。

4. 編輯a.txt，使其有以下4行數據，然后在執行下面的命令。
aaa,US,CD
aaa,US,CE
ccc,CB,BB
ccc,CB,BC
LOAD DATA LOCAL INPATH '/home/grid/a.txt' OVERWRITE INTO TABLE t1;
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/; 
dfs -ls /user/hive/warehouse/test.db/t2/country=US;
執行命令及結果如圖3所示。

圖3
可以看到，現在表中有12條數據，OVERWRITE并沒有覆蓋原來的分區，而是追加了4條數據，并且動態建立了新的分區目錄。
再次執行一次下面的命令：
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/; 
dfs -ls /user/hive/warehouse/test.db/t2/country=US;
執行命令及結果如圖4所示。

圖4
可以看到，現在表中還是12條數據，分區目錄也沒有變化。

在動態分區插入上，內外部分區表的行為相同，實驗從略。

5. 使用LOAD做動態分區插入
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t2 PARTITION (country, state);
執行命令及結果如圖5所示。

圖5
可以看到，load命令不支持動態分區插入。

總結：
1. OVERWRITE不會刪除已有的分區目錄，只會追加新的分區，并覆蓋已有分區的非分區數據。
2. 不能使用load進行動態分區插入

感謝各位的閱讀，以上就是“hive動態分區插入的實驗步驟和總結”的內容了，經過本文的學習后，相信大家對hive動態分區插入的實驗步驟和總結這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！