對大數據知識架構的梳理

     近期交接了前期的大數據項目，對之前的項目內容做一個總結。也算是梳理一下項目的架構，對前期也算是一個總結，為后期的學習打下一個基礎。

清理數據

     對傳統行業來說，上來就說要搞大數據，一般都會是一種噱頭，因為之前的數據量不會很大，所以基本上都是一些統計分析內容為主。在這一階段，你對數據理解就尤為重要！這里邊牽扯到的知識有數據清理，相關的ETL技術。也就是說你要做數據分析，數據在哪里很是重要，當你不清楚你的數據的位置的時候，你的分析也就無所談起。而原始數據里邊一定會有許多的問題。而此時，你的清理過程就是要深入了解原始數據。為什么說一個好的數據分析人員一定是一個好的業務人員，這點也尤為重要。因為只有你對數據更為了解的時候，你才能更好的補全，替代。說和通俗一點，就是你要將原始的數據轉換成PC能讀懂的數據。

    這里也有一個4：3：3的原則，你原始的數據要從測試，訓練，驗證這三個維度來訓練你的數據，這樣構成一個循環，好讓你的數據最終的成功度提高。而當你的數據入庫的時候，就采用結構化還是非結構化的時候，這點也非常重要。也是決定著你后期讀取的快慢！

分析數據

　　這一步是要結合著業務來做的，你對業務理解多少。結合著業務需求來分析數據，而不是單純理解數據，不同行業不同工種對同一數據的理解是不同的。相比之下，業務人員要對數據的理解更加深入幾分。你如何分析你的數據，如何理解里邊的特殊值。如何去找到你所要求的目標數據，這一點尤其重要。

　　分析數據，這一點也關系到你的項目的成敗。這一點個人感覺也是產品經理需要重要把握的地方。首先，做為產品經理，你不可能對所有行業都了解的很清楚，在這種情況下，就勢必要求你能夠最大限度的來理解數據的價值。在這一步，你要與業務人員深入交流，確保對數據的詳細了解，然后才能夠在接下的環節中脫穎而出。

算法選取

　　有人說這一點都涉及研發了，作為產品經理是不需求去重點關注的。但從個人角度來說，這一點也同樣重要。因為你初期的算法選取不當會造成后期的結果錯誤。也就相當于說，基本的東西，你一上來就要選好。

　　而在算法選取方面，個人感覺也是要結合業務來實施。首先，要弄清楚業務那邊主要關注的是什么指標。而與這一個指標相關的參數有那些，這些參數都是如何來影響這些指標的。至于算法的準確度，這一點，可以通過對數據顆粒度的細化來不斷提高。不同的代碼對系統的資源調度是不同的，而若你對算法的了解程度最大限度決定了你最終產品的反應快慢！

需求分析

　　有人說，這一塊是最為重要的。為什么你不是放在第一部分來講，而是放在最后一部分了。因為深刻的感受到，在傳統行業，用戶的需求不明確，或者說不是那么明確。又或者是用戶的需求是可以被引導的。一直以來，個人都將用戶的需求分為四種：強需，弱需，真需，假需。

　　有的時候，要分辯這些需求。是要求產品經理具有相關行業的背景的。因為不同行業，不同公司對人的需求是不同的。如何去挖掘用戶的需求，并將這些需求轉換成為可以落地實現的產品。這點對產品經理的要求是很高的。

部門溝通

　　大數據產品，我將它分為三個線，一個是產品，一個是業務，一個是研發。這樣就涉及到了部門之間的溝通。業務有許多的用戶需求要經過產品的人來向研發反饋，而研發也需要產品的人把自己的工作落實到實際的項目中來。

　　大數據，對上來說。領導層也許不懂大數據能夠做什么。這就需要產品人員來給領導層以通俗的語言來講明白。而對合作廠家來說，要有正確的引導，才能夠讓對方看到合作的可能。從而為項目的發展提供動力。

　　大數據項目，以一個產品經理的角度來參于到這個項目中，才發現，自己曾經學到的內容到實際的應用中是那么的微乎其微。傳統行業對大數據的渴求不再單單的基于概念而是真正的落地，真正的輔助業務創造價值。而這一方面，對一個產品經理的要求只會越來越高。

　　很高興前段時間論文的開題也順利通過了，大數據的路還有很遠，且行且珍惜吧！