hadoop家族學習路線圖之hadoop產品介紹

大數據這個詞也許幾年前你聽著還會覺得陌生，但我相信你現在聽到hadoop這個詞的時候你應該都會覺得“熟悉”！越來越發現身邊從事hadoop開發或者是正在學習hadoop的人變多了。作為一個hadoop入門級的新手，你會覺得哪些地方很難呢？運行環境的搭建恐怕就已經足夠讓新手頭疼。如果每一個發行版hadoop都可以做到像大快DKHadoop那樣把各種環境搭建集成到一起，一次安裝搞定所有，那對于新手來說將是件多么美妙的事情！

閑話扯得稍微多了點，回歸整體。這篇準備給大家hadoop新入門的朋友分享一些hadoop的基礎知識——hadoop家族產品。通過對hadoop家族產品的認識，進一步幫助大家學習好hadoop！同時，也歡迎大家提出寶貴意見！

一、Hadoop定義

Hadoop是一個大家族，是一個開源的生態系統，是一個分布式運行系統，是基于Java編程語言的架構。不過它最高明的技術還是HDFS和MapReduce，使得它可以分布式處理海量數據。

二、Hadoop產品

HDFS（分布式文件系統）：

它與現存的文件系統不同的特性有很多，比如高度容錯（即使中途出錯，也能繼續運行），支持多媒體數據和流媒體數據訪問，高效率訪問大型數據集合，數據保持嚴謹一致，部署成本降低，部署效率提高等，如圖是HDFS的基礎架構。

MapReduce/Spark/Storm（并行計算架構）：

1、數據處理方式來說分離線計算和在線計算：

2、數據存儲位置來說分磁盤計算和內存計算：

Pig/Hive（Hadoop編程）：

HBase/Sqoop/Flume（數據導入與導出）:

以上這些數據轉移工具都極大地方便了使用的人，提高了工作效率，把精力專注在業務分析上。

ZooKeeper/Oozie（系統管理架構）：

Ambari/Whirr（系統部署管理）：

Mahout（機器學習）：

Mahout旨在幫助我們快速地完成高智商的系統。其中已經實現了部分機器學習的邏輯。這個架構可以讓我們快速地集成更多機器學習的智能。