#
魯春利的工作筆記，誰說程序員不能有文藝范？ Hadoop是大數據處理的存儲和計算平臺，HDFS主要用來實現數據存儲，MapReduce實現數據的計算。&n
Spark作為數據處理的核心應用，有著重要的作用和地位，那么spark能不能取代Hadoop而存在呢？Spark只是分布式計算平臺，而hadoop已經是分布式計算、存儲、管理的生態系統。與Spark相
2019/2/19 星期二 MapReduce計算框架高級特性程序運行并發度 所謂的并發度，就是在MapReduce執行程序的過程中有多少個map task進程和reduce task進程，來一起完成
1. 自定義InputFormat –數據分類輸出 需求：小文件的合并 分析： - 在數據采集的時候，就將小文件或小批數據合成大
1 MapReduce 概述 MapReduce 是一個分布式運算程序的編程框架，是用戶開發基于 Hadoop 的數據分析應用的核心框架。 MapReduce 核心功能是將用戶編寫的業務邏輯代碼和自帶
1. MapReduce 的介紹： MapReduce 是一個分布式運算程序的編程框架，核心功能是將用戶編寫的業務邏輯代碼和自帶默認組件整合成一個完整的分布式運算程序，并發運
MapReduce源于Google一篇論文，它充分借鑒了“分而治之”的思想，將一個數據處理過程拆分為主要的Map(映射)與Reduce(歸約)兩步。簡單地說，MapReduce就是"任務的分解與結果的
3.1 mapreduce的shuffle機制3.1.1 概述：v mapreduce中，map階段處理的數據如何傳遞給reduce階段，是mapreduce框架中最關鍵的一個流程
說明這篇文章是來自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions：的不嚴格翻譯，因為翻譯的文章示例寫得比較通
Hadoop：版本迭代較快，最新為3.0版本，本次學習以2.0為主；
