亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

mysql中分表與分區的區別是什么

發布時間:2021-07-26 16:24:34 來源:億速云 閱讀:129 作者:Leah 欄目:數據庫

這篇文章將為大家詳細講解有關mysql中分表與分區的區別是什么,文章內容質量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。

一,什么是mysql分表,分區

什么是分表,從表面意思上看呢,就是把一張表分成N多個小表,具體請看mysql分表的3種方法

什么是分區,分區呢就是把一張表的數據分成N多個區塊,這些區塊可以在同一個磁盤上,也可以在不同的磁盤上

一,先說一下為什么要分表

當一張的數據達到幾百萬時,你查詢一次所花的時間會變多,如果有聯合查詢的話,我想有可能會死在那兒了。分表的目的就在于此,減小數據庫的負擔,縮短查詢時間。

根據個人經驗,mysql執行一個sql的過程如下:
1,接收到sql;2,把sql放到排隊隊列中 ;3,執行sql;4,返回執行結果。在這個執行過程中最花時間在什么地方呢?第一,是排隊等待的時間,第二,sql的執行時間。其實這二個是一回事,等待的同時,肯定有sql在執行。所以我們要縮短sql的執行時間。

mysql中有一種機制是表鎖定和行鎖定,為什么要出現這種機制,是為了保證數據的完整性,我舉個例子來說吧,如果有二個sql都要修改同一張表的同一條數據,這個時候怎么辦呢,是不是二個sql都可以同時修改這條數據呢?很顯然mysql對這種情況的處理是,一種是表鎖定(myisam存儲引擎),一個是行鎖定(innodb存儲引擎)。表鎖定表示你們都不能對這張表進行操作,必須等我對表操作完才行。行鎖定也一樣,別的sql必須等我對這條數據操作完了,才能對這條數據進行操作。如果數據太多,一次執行的時間太長,等待的時間就越長,這也是我們為什么要分表的原因。

二,分表

1,做mysql集群,例如:利用mysql cluster ,mysql proxy,mysql replication,drdb等等

有人會問mysql集群,根分表有什么關系嗎?雖然它不是實際意義上的分表,但是它啟到了分表的作用,做集群的意義是什么呢?為一個數據庫減輕負擔,說白了就是減少sql排隊隊列中的sql的數量,舉個例子:有10個sql請求,如果放在一個數據庫服務器的排隊隊列中,他要等很長時間,如果把這10個sql請求,分配到5個數據庫服務器的排隊隊列中,一個數據庫服務器的隊列中只有2個,這樣等待時間是不是大大的縮短了呢?這已經很明顯了。所以我把它列到了分表的范圍以內,我做過一些mysql的集群:

linux
mysql proxy 的安裝,配置,以及讀寫分離

mysql
replication 互為主從的安裝及配置,以及數據同步

優點:擴展性好,沒有多個分表后的復雜操作(php代碼)

缺點:單個表的數據量還是沒有變,一次操作所花的時間還是那么多,硬件開銷大。

2,預先估計會出現大數據量并且訪問頻繁的表,將其分為若干個表

這種預估大差不差的,論壇里面發表帖子的表,時間長了這張表肯定很大,幾十萬,幾百萬都有可能。 聊天室里面信息表,幾十個人在一起一聊一個晚上,時間長了,這張表的數據肯定很大。像這樣的情況很多。所以這種能預估出來的大數據量表,我們就事先分出個N個表,這個N是多少,根據實際情況而定。以聊天信息表為例:

我事先建100個這樣的表,message_00,message_01,message_02..........message_98,message_99.然后根據用戶的ID來判斷這個用戶的聊天信息放到哪張表里面,你可以用hash的方式來獲得,可以用求余的方式來獲得,方法很多,各人想各人的吧。下面用hash的方法來獲得表名:

查看復制打印?

  1. <?php  

  2. function get_hash_table($table,$userid) {  

  3.  $str = crc32($userid);  

  4.  if($str<0){  

  5.  $hash = "0".substr(abs($str), 0, 1);  

  6.  }else{  

  7.  $hash = substr($str, 0, 2);  

  8.  }  


  9.  return $table."_".$hash;  

  10. }  


  11. echo get_hash_table('message','user18991');     //結果為message_10

  12. echo get_hash_table('message','user34523');    //結果為message_13

  13. ?>  

說明一下,上面的這個方法,告訴我們user18991這個用戶的消息都記錄在message_10這張表里,user34523這個用戶的消息都記錄在message_13這張表里,讀取的時候,只要從各自的表中讀取就行了。

優點:避免一張表出現幾百萬條數據,縮短了一條sql的執行時間

缺點:當一種規則確定時,打破這條規則會很麻煩,上面的例子中我用的hash算法是crc32,如果我現在不想用這個算法了,改用md5后,會使同一個用戶的消息被存儲到不同的表中,這樣數據亂套了。擴展性很差。

3,利用merge存儲引擎來實現分表

我覺得這種方法比較適合,那些沒有事先考慮,而已經出現了得,數據查詢慢的情況。這個時候如果要把已有的大數據量表分開比較痛苦,最痛苦的事就是改代碼,因為程序里面的sql語句已經寫好了,現在一張表要分成幾十張表,甚至上百張表,這樣sql語句是不是要重寫呢?舉個例子,我很喜歡舉子

mysql>show engines;的時候你會發現mrg_myisam其實就是merge。

查看復制打印?

  1. mysql> CREATE TABLE IF NOT EXISTS `user1` (  

  2.  ->   `id` int(11) NOT NULL AUTO_INCREMENT,  

  3.  ->   `name` varchar(50) DEFAULT NULL,  

  4.  ->   `sex` int(1) NOT NULL DEFAULT '0',  

  5.  ->   PRIMARY KEY (`id`)  

  6.  -> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;  

  7. Query OK, 0 rows affected (0.05 sec)  


  8. mysql> CREATE TABLE IF NOT EXISTS `user2` (  

  9.  ->   `id` int(11) NOT NULL AUTO_INCREMENT,  

  10.  ->   `name` varchar(50) DEFAULT NULL,  

  11.  ->   `sex` int(1) NOT NULL DEFAULT '0',  

  12.  ->   PRIMARY KEY (`id`)  

  13.  -> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;  

  14. Query OK, 0 rows affected (0.01 sec)  


  15. mysql> INSERT INTO `user1` (`name`, `sex`) VALUES('張映', 0);  

  16. Query OK, 1 row affected (0.00 sec)  


  17. mysql> INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1);  

  18. Query OK, 1 row affected (0.00 sec)  


  19. mysql> CREATE TABLE IF NOT EXISTS `alluser` (  

  20.  ->   `id` int(11) NOT NULL AUTO_INCREMENT,  

  21.  ->   `name` varchar(50) DEFAULT NULL,  

  22.  ->   `sex` int(1) NOT NULL DEFAULT '0',  

  23.  ->   INDEX(id)  

  24.  -> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ;  

  25. Query OK, 0 rows affected, 1 warning (0.00 sec)  


  26. mysql> select id,name,sex from alluser;  

  27. +----+--------+-----+  

  28. | id | name   | sex |  

  29. +----+--------+-----+  

  30. |  1 | 張映 |   0 |  

  31. |  1 | tank   |   1 |  

  32. +----+--------+-----+  

  33. 2 rows in set (0.00 sec)  


  34. mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0);  

  35. Query OK, 1 row affected (0.00 sec)  


  36. mysql> select id,name,sex from user2  

  37.  -> ;  

  38. +----+-------+-----+  

  39. | id | name  | sex |  

  40. +----+-------+-----+  

  41. |  1 | tank  |   1 |  

  42. |  2 | tank2 |   0 |  

  43. +----+-------+-----+  

  44. 2 rows in set (0.00 sec)  

從上面的操作中,我不知道你有沒有發現點什么?假如我有一張用戶表user,有50W條數據,現在要拆成二張表user1和user2,每張表25W條數據,

INSERT INTO user1(user1.id,user1.name,user1.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id <= 250000

INSERT INTO user2(user2.id,user2.name,user2.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id > 250000

這樣我就成功的將一張user表,分成了二個表,這個時候有一個問題,代碼中的sql語句怎么辦,以前是一張表,現在變成二張表了,代碼改動很大,這樣給程序員帶來了很大的工作量,有沒有好的辦法解決這一點呢?辦法是把以前的user表備份一下,然后刪除掉,上面的操作中我建立了一個alluser表,只把這個alluser表的表名改成user就行了。但是,不是所有的mysql操作都能用的

a,如果你使用 alter table 來把 merge 表變為其它表類型,到底層表的映射就被丟失了。取而代之的,來自底層 myisam 表的行被復制到已更換的表中,該表隨后被指定新類型。

b,網上看到一些說replace不起作用,我試了一下可以起作用的。暈一個先

  1. mysql> UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2;  

  2. Query OK, 1 row affected (0.00 sec)  

  3. Rows matched: 1  Changed: 1  Warnings: 0  


  4. mysql> select * from alluser;  

  5. +----+--------+-----+  

  6. | id | name   | sex |  

  7. +----+--------+-----+  

  8. |  1 | 張映 |   0 |  

  9. |  1 | tank   |   1 |  

  10. |  2 | tank2  |   1 |  

  11. +----+--------+-----+  

  12. 3 rows in set (0.00 sec)  

c,一個 merge 表不能在整個表上維持 unique 約束。當你執行一個 insert,數據進入第一個或者最后一個 myisam 表(取決于 insert_method 選項的值)。mysql 確保唯一鍵值在那個 myisam 表里保持唯一,但不是跨集合里所有的表。

d,當你創建一個 merge 表之時,沒有檢查去確保底層表的存在以及有相同的機構。當 merge 表被使用之時,mysql 檢查每個被映射的表的記錄長度是否相等,但這并不十分可靠。如果你從不相似的 myisam 表創建一個 merge 表,你非常有可能撞見奇怪的問題。

優點:擴展性好,并且程序代碼改動的不是很大

缺點:這種方法的效果比第二種要差一點

三,總結一下

上面提到的三種方法,我實際做過二種,第一種和第二種。第三種沒有做過,所以說的細一點。哈哈。做什么事都有一個度,超過個度就過變得很差,不能一味的做數據庫服務器集群,硬件是要花錢買的,也不要一味的分表,分出來1000表,mysql的存儲歸根到底還以文件的形勢存在硬盤上面,一張表對應三個文件,1000個分表就是對應3000個文件,這樣檢索起來也會變的很慢。我的建議是

方法1和方法2結合的方式來進行分表

方法1和方法3結合的方式來進行分表

我的二個建議適合不同的情況,根據個人情況而定,我覺得會有很多人選擇方法1和方法3結合的方式

二,mysql分表和分區有什么區別呢

1,實現方式上

a),mysql的分表是真正的分表,一張表分成很多表后,每一個小表都是完正的一張表,都對應三個文件,一個.MYD數據文件,.MYI索引文件,.frm表結構文件。

  1. [root@BlackGhost test]# ls |grep user   

  2. alluser.MRG   

  3. alluser.frm   

  4. user1.MYD   

  5. user1.MYI   

  6. user1.frm   

  7. user2.MYD   

  8. user2.MYI   

  9. user2.frm  

Php代碼  mysql中分表與分區的區別是什么

  1. [root@BlackGhost test]# ls |grep user  

  2. alluser.MRG  

  3. alluser.frm  

  4. user1.MYD  

  5. user1.MYI  

  6. user1.frm  

  7. user2.MYD  

  8. user2.MYI  

  9. user2.frm  

簡單說明一下,上面的分表呢是利用了merge存儲引擎(分表的一種),alluser是總表,下面有二個分表,user1,user2。他們二個都是獨立的表,取數據的時候,我們可以通過總表來取。這里總表是沒有.MYD,.MYI這二個文件的,也就是說,總表他不是一張表,沒有數據,數據都放在分表里面。我們來看看.MRG到底是什么東西

  1. [root@BlackGhost test]# cat alluser.MRG |more   

  2. user1   

  3. user2   

  4. #INSERT_METHOD=LAST  

Php代碼  mysql中分表與分區的區別是什么

  1. [root@BlackGhost test]# cat alluser.MRG |more  

  2. user1  

  3. user2  

  4. #INSERT_METHOD=LAST  

從上面我們可以看出,alluser.MRG里面就存了一些分表的關系,以及插入數據的方式。可以把總表理解成一個外殼,或者是聯接池。

b),分區不一樣,一張大表進行分區后,他還是一張表,不會變成二張表,但是他存放數據的區塊變多了。

  1. [root@BlackGhost test]# ls |grep aa   

  2. aa#P#p1.MYD   

  3. aa#P#p1.MYI   

  4. aa#P#p3.MYD   

  5. aa#P#p3.MYI   

  6. aa.frm   

  7. aa.par  

Php代碼  mysql中分表與分區的區別是什么

  1. [root@BlackGhost test]# ls |grep aa  

  2. aa#P#p1.MYD  

  3. aa#P#p1.MYI  

  4. aa#P#p3.MYD  

  5. aa#P#p3.MYI  

  6. aa.frm  

  7. aa.par  

從上面我們可以看出,aa這張表,分為二個區,p1和p3,本來是三個區,被我刪了一個區。我們都知道一張表對應三個文件.MYD,.MYI,.frm。分區呢根據一定的規則把數據文件和索引文件進行了分割,還多出了一個.par文件,打開.par文件后你可以看出他記錄了,這張表的分區信息,根分表中的.MRG有點像。分區后,還是一張,而不是多張表。

2,數據處理上

a),分表后,數據都是存放在分表里,總表只是一個外殼,存取數據發生在一個一個的分表里面。看下面的例子:

select * from alluser where id=’12′表面上看,是對表alluser進行操作的,其實不是的。是對alluser里面的分表進行了操作。

b),分區呢,不存在分表的概念,分區只不過把存放數據的文件分成了許多小塊,分區后的表呢,還是一張表。數據處理還是由自己來完成。

3,提高性能上

a),分表后,單表的并發能力提高了,磁盤I/O性能也提高了。并發能力為什么提高了呢,因為查尋一次所花的時間變短了,如果出現高并發的話,總表可以根據不同的查詢,將并發壓力分到不同的小表里面。磁盤I/O性能怎么搞高了呢,本來一個非常大的.MYD文件現在也分攤到各個小表的.MYD中去了。

b),mysql提出了分區的概念,我覺得就想突破磁盤I/O瓶頸,想提高磁盤的讀寫能力,來增加mysql性能。
在這一點上,分區和分表的測重點不同,分表重點是存取數據時,如何提高mysql并發能力上;而分區呢,如何突破磁盤的讀寫能力,從而達到提高mysql性能的目的。

4),實現的難易度上

a),分表的方法有很多,用merge來分表,是最簡單的一種方式。這種方式根分區難易度差不多,并且對程序代碼來說可以做到透明的。如果是用其他分表方式就比分區麻煩了。

b),分區實現是比較簡單的,建立分區表,根建平常的表沒什么區別,并且對開代碼端來說是透明的。

三,mysql分表和分區有什么聯系呢

1,都能提高mysql的性高,在高并發狀態下都有一個良好的表面。

2,分表和分區不矛盾,可以相互配合的,對于那些大訪問量,并且表數據比較多的表,我們可以采取分表和分區結合的方式(如果merge這種分表方式,不能和分區配合的話,可以用其他的分表試),訪問量不大,但是表數據很多的表,我們可以采取分區的方式等。

關于mysql中分表與分區的區別是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

闽清县| 尉犁县| 邛崃市| 抚顺市| 尼木县| 开江县| 任丘市| 玛多县| 醴陵市| 徐州市| 肥乡县| 永靖县| 澄城县| 平度市| 错那县| 萝北县| 惠东县| 长海县| 桓台县| 腾冲县| 崇文区| 年辖:市辖区| 呼和浩特市| 灵石县| 文登市| 库车县| 二连浩特市| 东城区| 砀山县| 鲁甸县| 个旧市| 西平县| 本溪| 紫阳县| 吴堡县| 巴林右旗| 桐城市| 玉山县| 太白县| 华亭县| 新乡市|