溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
Phoenix4.10中的大表異步索引創建實戰是怎樣的，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。
概述：
Phoenix使用HBase作為后端存儲，對于HBase來說，我們通常使用字典序的RowKey來快速訪問數據，除此之外，也可以使用自定義的Filter來搜索數據，但是它是基于全表掃描的。而Phoenix提供的二級索引是可以避開全表掃描，是在HBase中快速查找或批量檢索數據的另一個選擇。
為什么使用異步索引？
一般我們可以使用CREATE INDEX來創建一個索引，這是一種同步的方法。但是有時候我們創建索引的表非常大，我們需要等很長時間。經常會超時，為了防止超時我們可通過調整超時時間來處理，但是如果這個表非常大，無限制的增加超時時間就顯得不太合理，Phoenix 4.5以后有一個異步創建索引的方式 ：
數據準備：
1.phoenix新建表，
CREATE TABLE IF NOT EXISTS ljs.testTable211 (id BIGINT not null primary key,order_code char(20),total_amount decimal(10,2),create_time date,user_id bigint);
這里只是為了演示，我先導入了幾條數據，一般你使用異步索引肯定是這個表的數據量比較大，不然就沒必要用異步索引了：
upsert into ljs.testTable211 values(1, 'A001', 10.5, '2019-3-19 23:35:00', 1);upsert into ljs.testTable211 values(2, 'A002', 60.0, '2019-3-19 23:36:00', 2);upsert into ljs.testTable211 values(3, 'B001', 66.6, '2019-3-20 01:01:00', 3);upsert into ljs.testTable211 values(4, 'C001', 66.4, '2019-3-20 02:01:00', 3);
異步索引大體分兩步：
新建索引表，sql語句最后加上異步索引標識 ASYNC：
CREATE INDEX ljs.index2_testTable211 ON testTable211(order_code) INCLUDE(total_amount,create_time,user_id) ASYNC;
2.這時候創建的索引表中不會有數據，查詢索引表驗證下。
0: jdbc:phoenix:> select * from ljs.index2_testTable211;+---------------+------+-----------------+----------------+------------+| 0:ORDER_CODE | :ID | 0:TOTAL_AMOUNT | 0:CREATE_TIME | 0:USER_ID |+---------------+------+-----------------+----------------+------------++---------------+------+-----------------+----------------+------------+No rows selected (0.204 seconds)0: jdbc:phoenix:>
3.你還需要用HBase自帶的一個工具類
org.apache.phoenix.mapreduce.index.IndexTool，執行一條命令，后端會啟動一個map reduce任務，只有等到這個任務結束，數據都被生成在索引表中后，這個索引才能被使用。啟動工具的方法：
[hbase@salver31 ~]$ hbase org.apache.phoenix.mapreduce.index.IndexTool --schema ljs --data-table testTable211 --index-table index2_testTable211 --output-path /tmp/index_testTable211
參數解釋：
-schema ljs 數據庫名
--data-table testTable211 數據表名
--output-path mapreduce任務臨時路徑，可自定義
--index-table index2_testTable211 索引表名
執行完成后查看索引表，已經有了索引數據：
0: jdbc:phoenix:> select * from ljs.INDEX2_TESTTABLE211;+---------------+------+-----------------+--------------------------+------------+| 0:ORDER_CODE | :ID | 0:TOTAL_AMOUNT | 0:CREATE_TIME | 0:USER_ID |+---------------+------+-----------------+--------------------------+------------+| A001 | 1 | 10.5 | 2019-03-19 23:35:00.000 | 1 || A002 | 2 | 6E+1 | 2019-03-19 23:36:00.000 | 2 || B001 | 3 | 66.6 | 2019-03-20 01:01:00.000 | 3 || C001 | 4 | 66.4 | 2019-03-20 02:01:00.000 | 3 |
4.這里查看對應的執行計劃驗證，下圖的SQL走了索引，而不是全表掃描：
0: jdbc:phoenix:> explain select total_amount,create_time,user_id from ljs.testTable211 where ORDER_CODE='A001';+-------------------------------------------------------------------------------------------------------------+| PLAN |+-------------------------------------------------------------------------------------------------------------+| CLIENT 1-CHUNK PARALLEL 1-WAY ROUND ROBIN RANGE SCAN OVER LJS:INDEX2_TESTTABLE211 ['A001 '] |+-------------------------------------------------------------------------------------------------------------+1 row selected (0.043 seconds)
5.至此，異步索引執行完成。
注意：
這里一定要注意，異步索引比較繁瑣，需要執行兩步命令，后臺會啟動一個Mapreduce分布式任務向索引表插入數據，如果你的表數據很小完全沒有必要用異步索引，啟動Mapreduce任務的時間就趕上了小表索引創建時間，切記勿亂用！！！
關于Phoenix4.10中的大表異步索引創建實戰是怎樣的問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
