#
一、什么是Flume? Flume 作為 cloudera 開發的實時日志收集系統，受到了業界的認可與廣泛應用。Flume 初始的發行版本目
Intelli IDEA開發Spark工程關聯Spark源碼！一、關聯什么？一般關聯zip、jar等，但是Spark的源碼是tgz格式的，沒法關聯，沒關系，下載tgz的，解壓縮成目錄。二、怎么關聯？第
實驗環境: linux centOS 6.7 vmware虛擬機spark-1.5.1-bin-hadoop-2.1.0apache-hive-1.2.1eclipse 或IntelJIDea 本次使
本期內容： 1、Executor的WAL容錯機制 2、消息重放Executor的安全容錯主要是數據的安全容錯，那為什么不考慮數據計算的安全容錯呢？原
去年年底出的一本學習Spark大數據的教程，文筆上言簡意賅，只講最常用的內容，很適合入門學習。是面向Spark開發者的一本實用參考書，結合實例全面系統的介紹了Spark工具的開發與使用。全書包括五章內
引言：和 Hadoop 一樣，Spark 提供了一個 Map/Reduce API（分布式計算）和分布式存儲。二者主要的不同點是，Spark 在集群的內存中保存數據，而 Hadoop 在集群的磁盤中存
一、spark的transformation 和 action區別Spark有一些基本的transformation 和 action的操作，其中transformation形成各類型的RDD，act
一、問題描述： Kafka生產集群中有一臺機器cdh-003由于物理故障原因掛掉了，并且系統起不來了，使得線上的spark Streaming實時任務不能正常消費，重啟實時任務都不行。查看kafka
Driver端 Driver端初始化構建Accumulator并初始化，同時完成了Accumulator注冊，Accumulators.register(this)時Accumulator會在序列化
上圖是一個job的提交流程圖，job提交的具體步驟如下 一旦有action，就會觸發DagScheduler.runJob來提交任務，主要是先生成邏輯執行圖DAG，然后調用 finalStage =
