#
sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")錯誤：MetaException(message:fil
第一，RDD架構重構與優化盡量去復用RDD，差不多的RDD，可以抽取稱為一個共同的RDD，供后面的RDD計算時，反復使用。第二，公共RDD一定要實現持久化對于要多次計算和使用的公共RDD，一定要進行持
Cache的產生背景 我們先做一個簡單的測試讀取一個本地文件做一次collect操作： val rdd=sc.textFile("file:///home/hadoop/data/input.txt"
一提到大數據處理，相信很多人第一時間想到的是 Hadoop MapReduce。沒錯，Hadoop MapReduce 為大數據處理技術奠定了基礎。近年來，隨著 Spark 的發展，越來越多的聲音提到
思路 & 需求 參考IntAccumulatorParam的實現思路（上述文章中有講）： trait AccumulatorParam[T] extends AccumulableParam[
企業架構是一個能夠使組織標準化并組織IT基礎架構來與業務目標保持一致的過程。以下的這些戰略可用于支持企業的數字化轉型，IT發展以及IT部門的現代化。 什么是企業架構? 企業架構(EA)是一個分析、設
本期內容： 1、Spark Streaming資源動態分配 2、Spark Streaming動態控制消費速率為什么需要動態？ a)Spa
學習spark任何技術之前，請正確理解spark，可以參考：正確理解spark我們在 http://7639240.blog.51cto.com/7629240/1966131 中
Spark Streaming的DStream為我們提供了一個updateStateByKey方法，它的主要功能是可以隨著時間的流逝在Spark Streaming中為每一個
一、再次思考pipeline 即使采用pipeline的方式，函數f對依賴的RDD中的數據集合的操作也會有兩種方式： &n
