大數據和數據分析有什么區別？

企業可以通過手中的數據，或挖掘用戶需求，或優化產品，或搶奪市場，或減少運營成本等等……一個優秀的數據分析師能為企業帶來巨大的潛在利潤。隨著企業對數據分析師的需求逐年增加，數據分析師的薪酬待遇也水漲船高。

當我們打開招聘網站，看著數據分析師誘人的薪資的時候，會發現數據分析崗有“數據分析師”和“大數據分析師”之分，那大數據和數據分析有什么區別呢？

CDA數據分析研究院于2018年8月對智聯招聘網站中關鍵字“數據分析”的招聘信息進行爬取，在對數據進行清洗后，排除了一萬多條低相關度的招聘以及虛假招聘，對剩下的5706條相關招聘信息進行分析。

通過對招聘信息中 “崗位職責”和“任職要求”兩個字段作詞頻分析，我們可以得知兩者的區別。

1.崗位職責區別

首先我們對數據分析崗位的字段“崗位職責”生成詞云（涉及813條數據）：?

我們可以總結出數據分析崗位的主要工作職責：

1、負責日常的需求調研、數據分析、商業分析。這過程的日常任務可能包括提交日報、周報、月報、年報等數據報表；

2、根據業務需求，制定相關數據的采集策略，設計、建立、測試相關的數據模型，從而從數據中提取決策價值。這過程可能需要撰寫特定分析需求的報告；

3、研究數據挖掘模型，參與數據挖掘模型的構建、維護、部署和評估工作。?

而當我們對大數據分析崗位的字段“崗位職責”生成詞云（涉及508條數據），我們可以明顯看到兩類數據崗位的區別：?

我們可以歸納出大數據分析崗的主要工作職責：

1、參與大數據平臺的設計與開發，解決海量數據面臨的挑戰；?

2、精通Java編程，能基于Hadoop/Hive/Spark/Storm/HBase等構建公司的大數據分析平臺；?

3、管理、優化并維護Hadoop、Spark等集群，保證集群規模持續、穩定；?

4、負責HDFS/hive/HBase的功能、性能和擴展，解決并實現業務需求。

2.從業者專業背景要求區別

通過對數據分析崗的字段“任職要求”（涉及999條數據），CDA數據分析研究院發現目前招聘需求中，對數學、統計學、計算機這三個專業背景的應聘者的需求最高，其次是經濟類專業。?

而當我們對大數據崗位的專業背景作詞頻分析時發現（涉及658條數據），大數據分析崗位對計算機專業背景要求最高，詞頻幾乎是統計學專業的兩倍多。對數學專業的需求排第二，對經濟類專業的需求極少。?

3.使用分析工具區別

那兩類崗位在工作中使用的軟件工具有什么區別呢？?

CDA數據分析研究院先對“任職要求”中的數據分析工具作詞頻分析（涉及999條）：?

我們會發現將近一半的崗位要求掌握SQL語言和EXCEL，排在第三位的是當前數據科學界的“當紅炸子雞”Python。緊隨其后的是傳統的統計軟件R、SPSS、SAS。當然也會有少部分企業要求懂得大數據平臺架構軟件Hadoop、Storm等。?

而當CDA數據分析研究院對大數據分析崗位作詞頻分析時發現(涉及658條)，崗位要求中詞頻最高的是Hadoop、Spark、Hive、HBase、Storm等大數據平臺工具。

超過六成的大數據分析崗要求對Java編程熟練，近三分之一崗位要求對Linux開發環境熟悉。

除了要求掌握海量數據處理的軟件工具以外，Python和SQL的詞頻也很高，近三分之一的崗位要求掌握。但是我們能明顯看到大數據分析工作中所使用的軟件均偏向于大數據平臺的開發和架構，要處理的數據量也遠超普通數據分析崗。