Mysql百萬量級數據如何高效導入Redis

Mysql百萬量級數據如何高效導入Redis，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

傳統命令的缺點

數據導入Redis熱身

采用nc命令導入數據

采用pipe模式導入數據

由上圖，可以看到pipe命令的返回結果，txt文件中有多少行命令，返回的replies數就是多少， errors表示其中執行錯誤的命令條數。

redis協議學習

協議的格式為：

*<參數數量>  \r\n
$<參數 
1 的字節數量>  \r\n
<參數 
1 的數據> \r\n
...
$<參數 N 的字節數量> \r\n
<參數 N 的數據> \r\n

HSET  id  book1  book_description1

*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r\n

格式化一下：

*4\r\n
$4\r\n
HSET\r\n
$2\r\n
idvvvv\r\n
$5\r\n
book1\r\n
$17\r\n
book_description1\r\n

將輸入數據源換成mysql

實際案例--從Mysql導入百萬級數據到Redis

首先造數據

DELIMITER $$
USE `cb_mon`$$

DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN

        DECLARE i INT DEFAULT 
1;
        WHILE i<= 
1000000
            DO
            INSERT INTO 
t_book(id,number,NAME,descrition)
            VALUES (i, CONCAT("00000",i) , 
CONCAT('book',i)
            , 
CONCAT('book_description',i));
            SET i=i+1;
        END WHILE ;
        COMMIT;
    END$$

DELIMITER ;

調用存儲過程

CALL test_insert();

按協議構造查詢語句

SELECT
  CONCAT(
    "*4\r\n",
    "$",
    LENGTH(redis_cmd),
    "\r\n",
    redis_cmd,
    "\r\n",
    "$",
    LENGTH(redis_key),
    "\r\n",
    redis_key,
    "\r\n",
    "$",
    LENGTH(hkey),
    "\r\n",
    hkey,
    "\r\n",
    "$",
    LENGTH(hval),
    "\r\n",
    hval,
    "\r"
  )
FROM
  (SELECT
    "HSET" AS redis_cmd,
    id AS redis_key,
    NAME AS hkey,
    descrition AS hval
  FROM
    cb_mon.t_book
  ) AS t limit 1000000

并將內容保存至redis.sql 文件中。

編寫腳本使用pipe模式導入redis

編寫shell腳本。由于我在主機上是通過docker安裝的redis和mysql，以下腳本供參考：

#!/bin/bash
starttime=`date +'%Y-%m-%d %H:%M:%S'`

docker exec -i 
899fe01d4dbc mysql --default-character-set=utf8
--skip-column-names --raw < ./redis.sql
| docker exec -i 
4c90ef506acd redis-cli --pipe

endtime=`date +'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date="$starttime" +%s);
end_seconds=$(date --date="$endtime" +%s);

echo 
"腳本執行耗時："$((end_seconds-start_seconds))"s"

lost connection to mysql server during query

總結了如下幾點：

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。