Mysql中如何實現關鍵詞跑分和全文檢索功能

這篇文章運用簡單易懂的例子給大家介紹Mysql中如何實現關鍵詞跑分和全文檢索功能，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

一、前言

MySQL 從 5.7.6 版本開始，MySQL就內置了ngram全文解析器，用來支持中文、日文、韓文分詞。在 MySQL 5.7.6 版本之前，全文索引只支持英文全文索引，不支持中文全文索引，需要利用分詞器把中文段落預處理拆分成單詞，然后存入數據庫。本篇文章測試的時候，采用的 Mysql 5.7.6 ，InnoDB數據庫引擎。mysql全文檢索

二、全文解析器ngram

ngram就是一段文字里面連續的n個字的序列。ngram全文解析器能夠對文本進行分詞，每個單詞是連續的n個字的序列。
例如，用ngram全文解析器對“你好世界”進行分詞:

n=1: '你', '好', '世', '界' 
n=2: '你好', '好世', '世界' 
n=3: '你好世', '好世界' 
n=4: '你好世界'

MySQL 中使用全局變量 ngram_token_size 來配置 ngram 中 n 的大小，它的取值范圍是1到10，默認值是 2。通常ngram_token_size設置為要查詢的單詞的最小字數。如果需要搜索單字，就要把ngram_token_size設置為 1。在默認值是 2 的情況下，搜索單字是得不到任何結果的。因為中文單詞最少是兩個漢字，推薦使用默認值 2。

咱們看一下Mysql默認的ngram_token_size大小：

show variables like 'ngram_token_size'

ngram_token_size 變量的兩種設置方式：

1、啟動mysqld命令時指定

mysqld --ngram_token_size=2

2、修改mysql配置文件

[mysqld] 
ngram_token_size=2

三、全文索引

以某文書數據為例，新建數據表 t_wenshu ，并且針對文書內容字段創建全文索引，導入10w條測試數據。

1、建表時創建全文索引

CREATE TABLE `t_wenshu` (
 `province` varchar(255) DEFAULT NULL,
 `caseclass` varchar(255) DEFAULT NULL,
 `casenumber` varchar(255) DEFAULT NULL,
 `caseid` varchar(255) DEFAULT NULL,
 `types` varchar(255) DEFAULT NULL,
 `title` varchar(255) DEFAULT NULL,
 `content` longtext,
 `updatetime` varchar(255) DEFAULT NULL,
 FULLTEXT KEY `content` (`content`) WITH PARSER `ngram`
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2、通過 alter table 方式

ALTER TABLE t_wenshu ADD FULLTEXT INDEX content_index (content) WITH PARSER ngram;

3、通過 create index 方式

CREATE FULLTEXT INDEX content_index ON t_wenshu (content) WITH PARSER ngram;

四、檢索模式

自然語言檢索

（IN NATURAL LANGUAGE MODE）自然語言模式是 MySQL 默認的全文檢索模式。自然語言模式不能使用操作符，不能指定關鍵詞必須出現或者必須不能出現等復雜查詢。

布爾檢索

（IN BOOLEAN MODE）剔除一半匹配行以上都有的詞，例如，每行都有this這個詞的話，那用this去查時，會找不到任何結果，這在記錄條數特別多時很有用，原因是數據庫認為把所有行都找出來是沒有意義的，這時，this幾乎被當作是stopword(中斷詞)；布爾檢索模式可以使用操作符，可以支持指定關鍵詞必須出現或者必須不能出現或者關鍵詞的權重高還是低等復雜查詢。

   ● IN BOOLEAN MODE的特色：
      ·不剔除50%以上符合的row。
      ·不自動以相關性反向排序。
      ·可以對沒有FULLTEXT index的字段進行搜尋，但會非常慢。
      ·限制最長與最短的字符串。
      ·套用Stopwords。

   ● 搜索語法規則：
     +   一定要有(不含有該關鍵詞的數據條均被忽略)。
     -   不可以有(排除指定關鍵詞，含有該關鍵詞的均被忽略)。
     >   提高該條匹配數據的權重值。
     <   降低該條匹配數據的權重值。
     ~   將其相關性由正轉負，表示擁有該字會降低相關性(但不像-將之排除)，只是排在較后面權重值降低。
     *   萬用字，不像其他語法放在前面，這個要接在字符串后面。
     " " 用雙引號將一段句子包起來表示要完全相符，不可拆字。

查詢擴展檢索

注釋：（WITH QUERY EXPANSION）由于查詢擴展可能帶來許多非相關性的查詢，謹慎使用！

五、檢索查詢

1）查詢 content 中包含“盜竊罪”的記錄，查詢語句如下

select caseid,content, MATCH ( content) AGAINST ('盜竊罪') as score from t_wenshu where MATCH ( content) AGAINST ('盜竊罪' IN NATURAL LANGUAGE MODE)

2）查詢 content 中包含“尋釁滋事”的記錄，查詢語句如下

select caseid,content, MATCH ( content) AGAINST ('尋釁滋事') as score from t_wenshu where MATCH ( content) AGAINST ('尋釁滋事' IN NATURAL LANGUAGE MODE) ;

3）單個漢字，查詢 content 中包含“我”的記錄，查詢語句如下

select caseid,content, MATCH ( content) AGAINST ('我') as score from t_wenshu where MATCH ( content) AGAINST ('我' IN NATURAL LANGUAGE MODE) ;

備注：因為設置的全局變量 ngram_token_size 的值為 2。如果想查詢單個漢字，需要在配置文件 my.ini 中修改 ngram_token_size = 1 ，并重啟 mysqld 服務，此處不做嘗試了。

4）查詢字段 content 中包含 “危險駕駛”和“尋釁滋事”的語句如下：

select caseid,content, MATCH (content) AGAINST ('+危險駕駛 +尋釁滋事') as score from t_wenshu where MATCH (content) AGAINST ('+危險駕駛 +尋釁滋事' IN BOOLEAN MODE);

5）查詢字段 content 中包含 “危險駕駛”，但不包含“尋釁滋事”的語句如下：

select caseid,content, MATCH (content) AGAINST ('+危險駕駛 -尋釁滋事') as score from t_wenshu where MATCH (content) AGAINST ('+危險駕駛 -尋釁滋事' IN BOOLEAN MODE);

6）查詢字段 conent 中包含“危險駕駛”或者“尋釁滋事”的語句如下：

select caseid,content, MATCH (content) AGAINST ('危險駕駛 尋釁滋事') as score from t_wenshu where MATCH (content) AGAINST ('危險駕駛 尋釁滋事' IN BOOLEAN MODE);

六、總結

1）使用 Mysql 全文索引之前，搞清楚各版本支持情況；

2）全文索引比 like + % 快 N 倍，但是可能存在精度問題；

3）如果需要全文索引的是大量數據，建議先添加數據，再創建索引；

4）對于中文，可以使用 MySQL 5.7.6 之后的版本，或者 Sphinx、Lucene 等第三方的插件；

5）MATCH()函數使用的字段名，必須要與創建全文索引時指定的字段名一致，且只能是同一個表的字段不能跨表；

關于Mysql中如何實現關鍵詞跑分和全文檢索功能就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。