Python如何學習NLP自然語言處理基本操作詞袋模型

這期內容當中小編將會給大家帶來有關Python如何學習NLP自然語言處理基本操作詞袋模型，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

概述

從今天開始我們將開啟一段自然語言處理 (NLP) 的旅程. 自然語言處理可以讓來處理, 理解, 以及運用人類的語言, 實現機器語言和人類語言之間的溝通橋梁.

詞袋模型

詞袋模型 (Bag of Words Model) 能幫助我們把一個句子轉換為向量表示. 詞袋模型把文本看作是無序的詞匯集合, 把每一單詞都進行統計.

向量化

詞袋模型首先會進行分詞, 在分詞之后. 通過通過統計在每個詞在文本中出現的次數. 我們就可以得到該文本基于詞語的特征, 如果將各個文本樣本的這些詞與對應的詞頻放在一起, 就是我們常說的向量化.

例子:

import jieba
from gensim import corpora
# 定義標點符號
punctuation = ["，", "。", "：", "；", "?", "!"]
# 定義語料
content = [
    "今天天氣真不錯!",
    "明天要下雨?",
    "后天要打雷。"
]
# 分詞
seg = [jieba.lcut(con) for con in content]
print("語料:", seg)

# 去除標點符號
tokenized = seg.copy()
for s in tokenized:
    for p in punctuation:
        if p in s:
            s.remove(p)
print("去除標點:", tokenized)
# tokenized是去標點之后的
dictionary = corpora.Dictionary(seg)
print("詞袋模型:", dictionary)

# 保存詞典
dictionary.save('deerwester.dict')
# 查看字典和下標id的映射
print("編號:", dictionary.token2id)

輸出結果:

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\Windows\AppData\Local\Temp\jieba.cache
Loading model cost 1.140 seconds.
Prefix dict has been built successfully.
語料: [['今天天氣', '真不錯', '!'], ['明天', '要', '下雨', '?'], ['后天', '要', '打雷', '。']]
去除標點: [['今天天氣', '真不錯'], ['明天', '要', '下雨'], ['后天', '要', '打雷']]
詞袋模型: Dictionary(7 unique tokens: ['今天天氣', '真不錯', '下雨', '明天', '要']...)
編號: {'今天天氣': 0, '真不錯': 1, '下雨': 2, '明天': 3, '要': 4, '后天': 5, '打雷': 6}

上述就是小編為大家分享的Python如何學習NLP自然語言處理基本操作詞袋模型了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。