大數據學習心得

一、 概述

1大數據簡介?

1.1起源?

“大數據“，近幾年來最火的詞之一。雖然大數據這個詞的正式產生也就10年左右，但對大數據分析卻早就有之。早在互聯網初期，就有很多公司通過計算機技術對大量的分析處理，比如各個瀏覽引擎。然而，大數據的真正提出卻是源自2008.09.03 《Nature》專刊的一篇論文，緊接著，產業界也不斷跟進，麥肯錫于2011.06 發布麥肯錫全球研究院報告，標志著大數據在產業界的真正興起，隨著白宮發布大數據研發法案，政府開始加入大數據的角逐。?

1.2定義?

既然大數據這么熱，我們有必要了解一下大數據究竟是什么。我們經常用4個V來定義大數據：容量、多樣性、吞吐量、價值。即大數據必須是數量大（至少T、P級別），來源多，大部分為非結構化，且進出分析系統的速度快，并以獲取價值為目的的數據。

2移動互聯網的大數據特征?

2.1web2.0與廣義移動互聯網?

Web2.0指以朋友圈、微博等為代表的資訊交流分享型互聯網，而廣義移動互聯網，則是通過無線方式實現互聯網、物聯網和社會網絡的連接。?

2.2數據特征?

移動互聯網的數據具有移動性、復雜性、社會性的特征。首先，節點是具有移動性的，它具有普適感知的功能。其次，網絡是具有復雜性的，通過網絡可以進行多元感知，最后個體是具有社會性的，所以他也具有社會感知的作用。?

2.3數據類型?

移動互聯網產生兩種類型數據：一是人傳輸的數據（UGU），它源自人的自我表達需求。一是機器產生的數據（MGC），其源自科技、軍事、商業的需求。?

2.4智能感知&服務?

目前的移動互聯網有一條缺失的鏈條—智能感知&服務。我們知道，互聯網解決的是人與人信息交換的問題，物聯網解決的是物與物信息交換的問題。而智能化服務需要人與自然與社會的交叉感知，移動互聯網和大數據技術就是它的橋梁。?

2.5智慧城市?

我認為，智慧城市=數字城市+移動互聯網+物聯網+云計算，而要實現則需要移動互聯網將互聯網、人際關系網、物聯網進行三網融合。

3機遇與挑戰?

3.1機遇?

大數據給我們帶來了機遇和挑戰，我們是否能從中受益則需要看我們怎么對待這些機遇和挑戰。大數據的機遇是明顯的，各種大平臺的數據采集與公開，MapReduce等數據分析平臺的開放，以及各領域數據挖掘服務的提供，使我們獲得數據變得更加容易。而這些豐富的數據更是帶來了眾多的創新機會，任何領域的數據都可能對這個領域造成巨大的影響。?

3.2挑戰?

當然大數據也給我們帶來了很多挑戰。一、數據共享與數據私有的矛盾。大數據的價值是稀疏的，而大量的數據往往被大公司壟斷，因此對于一般人來說，數據的共享變得十分重要，而其中一個解決方法就是建立一個共享的數據中心。二、數據洪流與技術滯后的矛盾。首先是數據存儲能力與處理不匹配，對此我們可以采用對數據流進行實時處理、就近原則存儲和處理原始數據、購買數據存儲和分析服務等方法進行解決。再者，是分析手段與性能需求不匹配，主要原因是因為傳統數據倉庫不再使用于大數據分析，對于此我們可以采用大規模并發、Map-Reduce分布式計算、NoSQL管理并發存取等方法進行處理。三是社會需求與人才匱乏的矛盾。對此，培養優秀大數據人才已是當務之急。四、開放數據與保護隱私的矛盾。?

其中包含用戶隱私成為犧牲品、有可能危害國家安全等問題，我們的解決思路就是發展隱私保護數據挖掘方法和完善立法。

4未來發展趨勢?

我認為大數據將是未來的石油，而移動互聯網將成為主要上網方式，移動大數據也將蓬勃發展。在此做出幾點預測:1移動大數據分析將逐步成為云計算和物聯網的研究聚焦點。2移動互聯網UGC和MGC數據的深度融合將催生新的產業。3專注于局部領域的數據分析服務將成為近期產業創新主流。4Map-Reduce將仍保持活力，分布式流數據分析方法將成為機器學習理論研究和應用研究熱點。5數據共享是大勢所趨，但需要特別重視國家信息安全，開放數據需要立法支持，信息安全需要自主技術保障