阿里大數據架構師必備技能，你“佩奇”了嘛？

這兩天真的是被《啥是佩奇》這支廣告片刷屏了。佩奇明明是個喜劇角色，卻把所有人都給看哭了！

中間的劇情，小孫子一句：“想要佩奇”，結果爺爺就開始了滿村子的尋找佩奇，到最后尋找到了小編認為是最好看的佩奇

不知道大家看了之后是什么感覺，反正我看了之后的感覺是非常感動了。不過經過幾天的發酵，“佩奇”這兩個字似乎有了更多的含義了！各種”佩奇“齊出不窮，女人的“佩奇”是什么樣的？程序員的“佩奇”是什么樣的？

在這里還是要推薦下我自己建的大數據學習交流群:529867072，群里都是學大數據開發的，如果你正在學習大數據 ，小編歡迎你加入,大家都是軟件開發黨，不定期分享干貨（只有大數據軟件開發相關的），包括我自己整理的一份最新的大數據進階資料和高級開發教程，歡迎進階中和進想深入大數據的小伙伴加入。

今天在這里我就給大家分享一下，大數據工程師的“佩奇”是什么樣的！

”佩奇“技能

1.編程能力

無論是Java還是Python，學習編程語言一定要先沉下心來專攻某一門，尤其是開放源代碼工具，在任何公司都廣泛運用。

比如對Java語言基礎語法、OOP編程、多線程及網絡編程、MySQL數據庫、Maven項目管理等開發入門工具的學習，可以訓練自己掌握大數據必備的基本編碼能力，也為后續學習大數據分析或是推薦系統等高級的內容打下堅實基礎。

2.Hadoop

Hadoop在大數據技術體系中的地位至關重要，Hadoop是大數據技術的基礎，對Hadoop基礎知識的掌握的扎實程度，會決定在大數據技術道路上走多遠。Hadoop里面包括幾個組件HDFS、MapReduce和YARN，HDFS是存儲數據的地方就像我們電腦的硬盤一樣文件都存儲在這個上面，MapReduce是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

YARN是體現Hadoop平臺概念的重要組件有了它大數據生態體系的其它軟件就能在hadoop上運行了，這樣就能更好的利用HDFS大存儲的優勢和節省更多的資源比如我們就不用再單獨建一個spark的集群了，讓它直接跑在現有的hadoop yarn上面就可以了。下面是Hadoop的常用模塊架構圖：

3.Spark

它是用來彌補基于MapReduce處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做迭代運算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

4.Storm

Storm是一個免費并開源的分布式實時計算系統。利用Storm可以很容易做到可靠地處理無限的數據流，像Hadoop批量處理大數據一樣，Storm可以實時處理數據。Storm簡單，可以使用任何編程語言。

5.Kafka

Kafka is a distributed,partitioned,replicated commit logservice。它提供了類似于JMS的特性，但是在設計實現上完全不同，此外它并不是JMS規范的實現。kafka對消息保存時根據Topic進行歸類，發送消息者成為Producer,消息接受者成為Consumer,此外kafka集群有多個kafka實例組成，每個實例(server)成為broker。無論是kafka集群，還是producer和consumer都依賴于zookeeper來保證系統可用性集群保存一些meta信息。

6.Flink

Flink是一款分布式的計算引擎，它可以用來做批處理，即處理靜態的數據集、歷史的數據集;也可以用來做流處理，即實時地處理一些實時數據流，實時地產生數據的結果;也可以用來做一些基于事件的應用，比如說滴滴通過Flink CEP實現實時監測用戶及司機的行為流來判斷用戶或司機的行為是否正當。大數據學習交流群：529867072

7.Hive

Hive 由 Facebook 實現并開源

是基于 Hadoop 的一個數據倉庫工具

可以將結構化的數據映射為一張數據庫表

并提供 HQL(Hive SQL)查詢功能

底層數據是存儲在 HDFS 上

Hive的本質是將 SQL 語句轉換為 MapReduce 任務運行

使不熟悉 MapReduce 的用戶很方便地利用 HQL 處理和計算 HDFS 上的結構化的數據，適用于離線的批量數據計算。

8.ElacsticSearch

ES是一個基于Lucene的分布式全文搜索服務器，和SQL Server的全文索引（Fulltext Index）有點類似，都是基于分詞和分段的全文搜索引擎，具有分詞，同義詞，詞干查詢的功能，但是ES天生具有分布式和實時的屬性，本隨筆演示在Windows環境中安裝ElasticSearch，以及用于管理ElasticSearch的Head插件。

總結

在技術行業里面，每天都會有新的東西出現，需要關注最新技術動態，不斷學習。任何一般技術都是先學習理論，然后在實踐中不斷完善理論的過程。

如果你覺得自己看書效率太慢，你可以網上搜集一些課程。

快速學習的能力、解決問題的能力、溝通能力在這個行業是真的非常重要的指標。

要善于使用StackOverFlow和Google來幫助你學習過程遇到的問題。