一、引子

現在的很多手機管理軟件都有垃圾短信攔截的功能，很智能很貼心是不是
嗯~ o(￣▽￣)o
對于經常被垃圾短信騷擾的人來說，很是有用。(??????)??
但是很多的攔截軟件在攔截到垃圾短信之后……又發個通知提示攔截到了垃圾短信╮（﹀_﹀）╭
好奇心害死貓，你告訴了我你攔截到了垃圾短信，我當然想知道你攔截的是什么垃圾短信了╮（╯＿╰）╭ 

二、分類與垃圾短信識別

機器學習按性質來看，可以分為三大類：

• 分類(監督)

• 回歸(監督)

• 聚類(半監督)
  垃圾短信通常用已標記的短信數據，對未知的短信進行判斷，其屬于機器學習中的分類性質。
  在Python中有很多機器學習的模塊，比如Sklearn、Tensorflow、Caffe等，可以很方便地調用一些機器學習的算法。 

三、垃圾短信識別

嗯，直接上手干……(￣_,￣ )
80w訓練數據集和20w測試數據集均來源于github上的一位小哥哥，在此謝過d=====(￣▽￣*)b 

1、數據處理

嗯，先看看數據長啥樣：

import pandas as pd
data = pd.read_csv(r"H:\RubbishMessage\data\80w.txt",encoding='utf-8',sep='    ',header=None)
data.head()

最后一列為短信的內容，倒數第二列則是短信的類型，0表示正常短信，1表示垃圾短信。
然后，我們對短信內容按照不同的類型（正常短信和垃圾短信）進行分割和分詞：

# 垃圾短信import jieba
spam = data[data[1] == 1]
spam[2] = spam[2].map(lambda x:' '.join(jieba.cut(x)))
spam.head()
# 正常短信
normal = data[data[1] == 0]
normal[2] = normal[2].map(lambda x:' '.join(jieba.cut(x)))
normal.head()

分別將不同類型分詞后的短信保存為不同的文件：

spam.to_csv('soam.csv',encoding='utf-8',header=False,index=False,columns=[2])
normal.to_csv('normal.csv',encoding='utf-8',header=False,index=False,columns=[2])

2、模型選擇和訓練

在此我們沒有選擇Sklearn或是其他的深度學習庫，而是選用NLTK自然語言處理庫來進行貝葉斯分類。
導入模塊：

import nltk.classify.util
from nltk.classify import NaiveBayesClassifier
from nltk.corpus import PlaintextCorpusReaderimport random

加載剛剛導出的短信文件：

加載短信語料庫
message_corpus = PlaintextCorpusReader('./',['soam.csv','normal.csv'])
all_message = message_corpus.words()

定義一個特征函數，用于生成特征：

def massage_feature(word,num_letter=1):
    return {'feature':word[-num_letter:]}

對短信特征進行標記提取：

labels_name = ([(massage,'垃圾') for massage in message_corpus.words('soam.csv')]+[(massage,'正常') for massage in message_corpus.words('normal.csv')])
random.seed(7)
random.shuffle(labels_name)

訓練并預測模型

from nltk.classify import accuracy as nltk_accuracy
featuresets = [(massage_feature(n),massage) for (n,massage) in labels_name]
train_set,test_set = featuresets[2000:],featuresets[:2000]
classifier = NaiveBayesClassifier.train(train_set)

最后，咱們看看預測的準確率怎么樣：

print('結果準確率：',str(100*nltk_accuracy(classifier,test_set))+str('%'))