數據挖掘入門必看的幾個問題

要將龐大的數據轉換成為有用的信息，必須先有效率地收集信息。 隨著科技的進步，功能完善的數據庫系統就成了最好的收集數據的工具。

如何做好數據挖掘

NO.1 Data Mining 和統計分析有什么不同?

硬要去區分Data Mining和Statistics的差異其實是沒有太大意義的。一般將之定義為Data Mining技術的CART、CHAID或模糊計算等等理論方法，也都是由統計學者根據統計理論所發展衍生，換另一個角度看，Data Mining有相當大的比重是由高等統計學中的多變量分析所支撐。但是為什么Data Mining的出現會引發各領域的廣泛注意呢?主要原因在相較于傳統統計分析而言，Data Mining有下列幾項特性：

1.處理大量實際數據更強勢，且無須太專業的統計背景去使用Data Mining的工具;

2.數據分析趨勢為從大型數據庫抓取所需數據并使用專屬計算機分析軟件，Data Mining的工具更符合企業需求;

3. 純就理論的基礎點來看，Data Mining和統計分析有應用上的差別，畢竟Data Mining目的是方便企業終端用戶使用而非給統計學家檢測用的。

NO.2 Data Warehousing 和 Data Mining 的關系為何?

若將Data Warehousing(數據倉庫)比喻作礦坑，Data Mining就是深入礦坑采礦的工作。畢竟Data Mining不是一種無中生有的魔術，也不是點石成金的煉金術，若沒有夠豐富完整的數據，是很難期待Data Mining能挖掘出什么有意義的信息的。

要將龐大的數據轉換成為有用的信息，必須先有效率地收集信息。 隨著科技的進步，功能完善的數據庫系統就成了最好的收集數據的工具。數據倉庫，簡單地說，就是搜集來自其它系統的有用數據，存放在一整合的儲存區內。所以 其實就是一個經過處理整合，且容量特別大的關系型數據庫，用以儲存決策支持系統(Design Support System)所需的數據，供決策支持或數據分析使用。從信息技術的角度來看，數據倉庫的目標是在組織中，在正確的時間，將正確的數據交給正確的人。歡迎加入大數據學習交流分享群： 658558542   一起吹水交流學習（?點擊即可加入群聊）

許多人對于Data Warehousing和Data Mining時常混淆，不知如何分辨。其實，數據倉庫是數據庫技術的一個新主題，利用計算機系統幫助我們操作、計算和思考，讓作業方式改變，決策方式也跟著改變。

數據倉庫本身是一個非常大的數據庫，它儲存著由組織作業數據庫 中整合而來的數據，特別是指事務處理系統OLTP(On-Line Transactional Processing)所得來的數據。將這些整合過的數據置放于數據昂哭中，而公司的決策者則利用這些數據作決策;但是，這個轉換及整合數據的過程，是建 立一個數據倉庫最大的挑戰。因為將作業中的數據轉換成有用的的策略性信息是整個數據倉庫的重點。綜上所述，數據倉庫應該具有這些數據：整合性數據 (integrated data)、詳細和匯總性的數據(detailed andsummarized data)、歷史數據、解釋數據的數據。從數據倉庫挖掘出對決策有用的信息與知識，是建立數據倉庫與使用Data Mining的最大目的，兩者的本質與過程是兩回事。換句話說，數據倉庫應先行建立完成，Data mining才能有效率的進行，因為數據倉庫本身所含數據是干凈(不會有錯誤的數據參雜其中)、完備，且經過整合的。因此兩者關系或許可解讀為Data Mining是從巨大數據倉庫中找出有用信息的一種過程與技術。

NO.3 OLAP 能不能代替 Data Mining?

所謂OLAP(OnlineAnalytical Process)意指由數據庫所連結出來的在線分析處理程序。有些人會說：「我已經有OLAP的工具了，所以我不需要Data Mining。」事實上兩者間是截然不同的，主要差異在于Data Mining用在產生假設，OLAP則用于查證假設。簡單來說，OLAP是由使用者所主導，使用者先有一些假設，然后利用OLAP來查證假設是否成立;而 Data Mining則是用來幫助使用者產生假設。所以在使用OLAP或其它Query的工具時，使用者是自己在做探索(Exploration)，但Data Mining是用工具在幫助做探索。

舉個例子來看，一市場分析師在為超市規劃貨品架柜擺設時，可能 會先假設嬰兒尿布和嬰兒奶粉會是常被一起購買的產品，接著便可利用OLAP的工具去驗證此假設是否為真，又成立的證據有多明顯;但Data Mining則不然，執行Data Mining的人將龐大的結帳數據整理后，并不需要假設或期待可能的結果，透過Mining技術可找出存在于數據中的潛在規則，于是我們可能得到例如尿布和啤酒常被同時購買的意料外之發現，這是OLAP所做不到的。 Data Mining常能挖掘出超越歸納范圍的關系，但OLAP僅能利用人工查詢及可視化的報表來確認某些關系，是以Data Mining此種自動找出甚至不會被懷疑過的數據模型與關系的特性，事實上已超越了我們經驗、教育、想象力的限制，OLAP可以和Data Mining互補，但這項特性是Data Mining無法被OLAP取代的。歡迎加入大數據學習交流分享群： 658558542   一起吹水交流學習（?點擊即可加入群聊）

NO.4 完整的DataMining 包含哪些步驟?

以下提供一個Data Mining的進行步驟以為參考：

1. 理解業務與理解數據;

2. 獲取相關技術與知識;

3. 整合與查詢數據;

4.去除錯誤或不一致及不完整的數據;

5. 由數據選取樣本先行試驗;

6. 建立數據模型

7. 實際Data Mining的分析工作;

8. 測試與檢驗;

9. 找出假設并提出解釋;

10. 持續應用于企業流程中。

由上述步驟可看出，Data Mining牽涉了大量的準備工作與規劃過程，事實上許多專家皆認為整套Data Mining的進行有80%的時間精力是花費在數據前置作業階段，其中包含數據的凈化與格式轉換甚或表格的連結。由此可知Data Mining只是信息挖掘過程中的一個步驟而已，在進行此步驟前還有許多的工作要先完成。

NO.5 Data Mining 運用了哪些理論與技術?

Data Mining是近年來數據庫應用技術中相當熱門的議題，看似神奇、聽來時髦，實際上卻也不是什么新東西，因其所用之諸如預測模型、數據分割，連結分析 (Link Analysis)、偏差偵測(Deviation Detection)等，美國早在二次世界大戰前就已應用運用在人口普查及軍事等方面。

隨著信息科技超乎想象的進展，許多新的計算機分析工具問世，例如關系型數據庫、模糊計算理論、基因算法則以及類神經網絡等，使得從數據中發掘寶藏成為一種系統性且可實行的程序。

R一般而言，Data Mining的理論技術可分為傳統技術與改良技術兩支。傳統技術以統計分析為代表，統計學內所含序列統計、概率論、回歸分析、類別數據分析等都屬于傳統數 據挖掘技術，尤其 Data Mining 對象多為變量繁多且樣本數龐大的數據，是以高等統計學里所含括之多變量分析中用來精簡變量的因素分析(Factor Analysis)、用來分類的判別分析(DiscriminantAnalysis)，以及用來區隔群體的分群分析(Cluster Analysis)等，在Data Mining過程中特別常用。

在改良技術方面，應用較普遍的有決策樹理論(Decision Trees)、類神經網絡(Neural Network)以及規則歸納法(Rules Induction)等。決策樹是一種用樹枝狀展現數據受各變量的影響情形之預測模型，根據對目標變量產生之效應的不同而建構分類的規則，一般多運用在對 客戶數據的分析上，例如針對有回函與未回含的郵寄對象找出影響其分類結果的變量組合，常用分類方法為CART(Classification and Regression Trees)及CHAID(Chi-Square Automatic InteractionDetector)兩種。

R類神經網絡是一種仿真人腦思考結構的數據分析模式，由輸入之變量與數值中自我學習并根據學習經驗所得之知識不斷調整參數以期建構數據的型樣 (patterns)。類神經網絡為非線性的設計，與傳統回歸分析相比，好處是在進行分析時無須限定模式，特別當數據變量間存有交互效應時可自動偵測出; 缺點則在于其分析過程為一黑盒子，故常無法以可讀之模型格式展現，每階段的加權與轉換亦不明確，是故類神經網絡多利用于數據屬于高度非線性且帶有相當程度 的變量交感效應時。

規則歸納法是知識發掘的領域中最常用的格式，這是一種由一連串的「如果…/則…(If / Then)」之邏輯規則對數據進行細分的技術，在實際運用時如何界定規則為有效是最大的問題，通常需先將數據中發生數太少的項目先剔除，以避免產生無意義的邏輯規則。

NO.6 Data Mining包含哪些主要功能?

Data Mining實際應用功能可分為三大類六分項來說明：Classification和Clustering屬于分類區隔類;Regression和Time-series屬于推算預測類;Association和Sequence則屬于序列規則類。歡迎加入大數據學習交流分享群： 658558542   一起吹水交流學習（?點擊即可加入群聊）

Classification是根據一些變量的數值做計算，再 依照結果作分類。(計算的結果最后會被分類為幾個少數的離散數值，例如將一組數據分為‘可能會響應’或是‘可能不會響應’ 兩類)。Classification常被用來處理如前所述之郵寄對象篩選的問題。我們會用一些根據歷史經驗已經分類好的數據來研究它們的特征，然后再根 據這些特征對其他未經分類或是新的數據做預測。這些我們用來尋找特征的已分類數據可能是來自我們的現有的客戶數據，或是將一個完整數據庫做部份取樣，再經由實際的運作來測試；譬如利用一個大型郵寄對象數據庫的部份取樣來建立一個Classification Model，再利用這個Model來對數據庫的其它數據或是新的數據作分類預測。

Clustering用在將數據分群，其目的在于將群間的差異找出來，同時也將群內成員的相似性找出來。Clustering與Classification不同的是，在分析前并不知道會以何種方式或根據來分類。所以必須要配合專業領域知識來解讀這些分群的意義。

Regression是使用一系列的現有數值來預測一個連續數值的可能值。若將范圍擴大亦可利用Logistic Regression來預測類別變量，特別在廣泛運用現代分析技術如類神經網絡或決策樹理論等分析工具，推估預測的模式已不在止于傳統線性的局限，在預測的功能上大大增加了選擇工具的彈性與應用范圍的廣度。

Time-SeriesForecasting與Regression功能類似，只是它是用現有的數值來預測未來的數值。兩者最大差異在于Time- Series所分析的數值都與時間有關。Time-SeriesForecasting的工具可以處理有關時間的一些特性，譬如時間的周期性、階層性、季 節性以及其它的一些特別因素(如過去與未來的關連性)。Association是要找出在某一事件或是數據中會同時出現的東西。舉例而言，如果A是某一事件的一種選擇，則B也出現在該事件中的機率有多少。(例如：如果顧客買了火腿和柳橙汁，那么這個顧客同時也會買牛奶的機率是85%。)Sequence Discovery與Association關系很密切，所不同的是Sequence Discovery中事件的相關是以時間因素來作區隔(例如：如果A股票在某一天上漲12%，而且當天股市加權指數下降，則B股票在兩天之內上漲的機率是 68%)。

NO.7 Data Mining在各領域的應用情形為何?

Data Mining在各領域的應用非常廣泛，只要該產業擁有具分析價值與需求的數據倉儲或數據庫，皆可利用Mining工具進行有目的的挖掘分析。一般較常見的應用案例多發生在零售業、直效行銷界、制造業、財務金融保險、通訊業以及醫療服務等。

于銷售數據中發掘顧客的消費習性，并可藉由交易紀錄找出顧客偏 好的產品組合，其它包括找出流失顧客的特征與推出新產品的時機點等等都是零售業常見的實例;直效行銷強調的分眾概念與數據庫行銷方式在導入Data Mining的技術后，使直效行銷的發展性更為強大，例如利用Data Mining分析顧客群之消費行為與交易紀錄，結合基本數據，并依其對品牌價值等級的高低來區隔顧客，進而達到差異化行銷的目的;制造業對Data Mining的需求多運用在品質控管方面，由制造過程中找出影響產品品質最重要的因素，以期提高作業流程的效率。

近來電話公司、信用卡公司、保險公司以及股票交易商對于詐欺行 為的偵測(FraudDetection)都很有興趣，這些行業每年因為詐欺行為而造成的損失都非常可觀，Data Mining可以從一些信用不良的客戶數據中找出相似特征并預測可能的詐欺交易，達到減少損失的目的。財務金融業可以利用 Data Mining來分析市場動向，并預測個別公司的營運以及股價走向。DataMining的另一個獨特的用法是在醫療業，用來預測手術、用藥、診斷、或是流 程控制的效率。歡迎加入大數據學習交流分享群： 658558542   一起吹水交流學習（?點擊即可加入群聊）

NO.8 Web Mining 和Data Mining有什么不同?

如果將Web視為CRM的一個新的Channel，則Web Mining便可單純看做Data Mining應用在網絡數據的泛稱。

該如何測量一個網站是否成功?哪些內容、優惠、廣告是人氣最旺 的?主要訪客是哪些人?什么原因吸引他們前來?如何從堆積如山之大量由網絡所得數據中找出讓網站運作更有效率的操作因素?以上種種皆屬Web Mining 分析之范疇。Web Mining 不僅只限于一般較為人所知的log file分析，除了計算網頁瀏覽率以及訪客人次外，舉凡網絡上的零售、財務服務、通訊服務、政府機關、醫療咨詢、遠距教學等等，只要由網絡連結出的數據庫 夠大夠完整，所有Off-Line可進行的分析，Web Mining都可以做，甚或更可整合Off-Line及On-Line的數據庫，實施更大規模的模型預測與推估，畢竟憑借網際網絡的便利性與***力再配合 網絡行為的可追蹤性與高互動特質，一對一行銷的理念是最有機會在網絡世界里完全落實的。

整體而言，Web Mining具有以下特性：1. 數據收集容易且不引人注意，所謂凡走過必留下痕跡，當訪客進入網站后的一切瀏覽行為與歷程都是可以立即被紀錄的;2. 以交互式個人化服務為終極目標，除了因應不同訪客呈現專屬設計的網頁之外，不同的訪客也會有不同的服務；3. 可整合外部來源數據讓分析功能發揮地更深更廣，除了log file、cookies、會員填表數據、線上調查數據、線上交易數據等由網絡直接取得的資源外，結合實體世界累積時間更久、范圍更廣的資源，將使分析的 結果更準確也更深入。

利用Data Mining技術建立更深入的訪客數據剖析，并賴以架構精準的預測模式，以期呈現真正智能型個人化的網絡服務，是Web Mining努力的方向。

NO.9 Data Mining 在 CRM 中扮演的角色為何?

CRM(CustomerRelationship Management)是近來引起熱烈討論與高度關切的議題，尤其在直效行銷的崛起與網絡的快速發展帶動下，跟不上CRM的腳步如同跟不上時代。事實上 CRM并不算新發明，奧美直效行銷推動十數年的CO(Customer Ownership)就是現在大家談的CRM―客戶關系管理。

Data Mining應用在CRM的主要方式可對應在Gap Analysis之三個部分：

針對Acquisition Gap，可利用Customer Profiling找出客戶的一些共同的特征，希望能藉此深入了解客戶，藉由Cluster Analysis對客戶進行分群后再透過Pattern Analysis預測哪些人可能成為我們的客戶，以幫助行銷人員找到正確的行銷對象，進而降低成本，也提高行銷的成功率。

針對Sales Gap，可利用BasketAnalysis幫助了解客戶的產品消費模式，找出哪些產品客戶最容易一起購買，或是利用SequenceDiscovery 預測客戶在買了某一樣產品之后，在多久之內會買另一樣產品等等。利用 Data Mining可以更有效的決定產品組合、產品推薦、進貨量或庫存量，甚或是在店里要如何擺設貨品等，同時也可以用來評估促銷活動的成效。

針對RetentionGap，可以由原客戶后來卻轉成競爭對 手的客戶群中，分析其特征，再根據分析結果到現有客戶數據中找出可能轉向的客戶，然后設計一些方法預防客戶流失;更有系統的做法是藉由Neural Network根據客戶的消費行為與交易紀錄對客戶忠誠度進行Scoring的排序，如此則可區隔流失率的等級進而配合不同的策略。

CRM不是設一個(080)客服專線就算了，更不僅只是把一堆 客戶基本數據輸入計算機就夠，完整的CRM運作機制在相關的硬軟件系統能健全的支持之前，有太多的數據準備工作與分析需要推動。企業透過Data Mining可以分別針對策略、目標定位、操作效能與測量評估等四個切面之相關問題，有效率地從市場與顧客所搜集累積之大量數據中挖掘出對消費者而言最關 鍵、最重要的答案，并賴以建立真正由客戶需求點出發的客戶關系管理。

NO.10 目前業界有哪些常用的Data Mining分析工具?

工具市場大致可分為三類：

1. 一般分析目的用的軟件包

Sas Enterprise Miner

IBM Intelligent Miner

Unica PRW

SPSS Clementine

SGI MineSet

Oracle Darwin

Angoss KnowledgeSeeker

2. 針對特定功能或產業而研發的軟件

KD1(針對零售業)

Options & Choices(針對保險業)

HNC(針對信用卡詐欺或呆帳偵測)

Unica Model 1(針對行銷業)

整合DSS(Decision SupportSystems)/OLAP/Data Mining的大型分析系統

Cognos Scenario and Business Objects

結語

感謝您的觀看，如有不足之處，歡迎批評指正。

如果有對大數據感興趣的小伙伴或者是從事大數據的老司機可以加群：

658558542    （?點擊即可加入群聊）

里面整理了一大份學習資料，全都是些干貨，包括大數據技術入門，海量數據高級分析語言，海量數據存儲分布式存儲，以及海量數據分析分布式計算等部分，送給每一位大數據小伙伴，這里不止是小白聚集地，還有大牛在線解答！歡迎初學和進階中的小伙伴一起進群學習交流，共同進步！

最后祝福所有遇到瓶頸的大數據程序員們突破自己，祝福大家在往后的工作與面試中一切順利。