您好,登錄后才能下訂單哦!
本篇內容介紹了“如何提高mysql插入數據的速度”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
需要在mysql中插入2000萬條記錄,用insert語句插入速度很有限,每秒鐘幾百條,放在hadoop集群上跑也是這個速度,可能是的問題了,網上看到sql server和oracle的insert速度也不是很快。比較簡單的優化方法如下:
1、在一條insert語句中插入多條記錄
[sql]
INSERT INTO tablename (field0, field1, ...) VALUES
(value0, value1, ...),
(value0, value1, ...),
(value0, value1, ...),
...
(value0, value1, ...)
這樣插入速度可以提高很多倍,但還是不夠塊,對于2000萬條記錄,每秒鐘一兩千條的插入速度還是太慢。
2、從文本文件導入數據
可以從文本文件直接導入記錄,不過需要文本文件是行記錄,并且每個字段之間用相同的字符隔開、每行之間也用相同的字符隔開。
寫了個程序把文本文件的格式處理一下,就可以在mysql客戶端使用如下語句導入數據了:
[sql]
mysql> LOAD DATA LOCAL INFILE 'fileName' INTO TABLE 'tableName' FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n';
其中'\t'和'\n'分別是字段和行的分隔符,在不同的情況下可能不一樣。
用這種方式,感覺導入的速度主要和文件的大小有關,和記錄的條數關系不太(可能是2000萬的記錄還不夠多吧。。)
導入一個800MB的文本文件(2000萬行),在單機上預處理用了3分鐘,導入數據庫用了7分鐘(機器配置是i5-2400CPU、8GB內存、硬盤讀取速度大約90MB/S)
“如何提高mysql插入數據的速度”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。