#
dataframe可以實現很多操作，但是存儲到本地的時候，只能存 parquest格式需要存儲源格式，需要轉換為rdd類型將dataframe中的每一行都map成有逗號相連的string，就變為了一個
RDD特性：1.RDD是spark提供的核心抽象，全稱：Resillient Distributed Dataset,即彈性分布式數據集。2.RDD在抽象上來說是一種元素集合，包含了數據。它是被分區的
12 數據格式 [[u'3', u'5'], [u'4', u'6'], [u'4', u'5'], [u'4', u'2']] 拆分或截取的原始數據， 可以通過 map 中的 x[0],
本節課內容： 1、基礎排序算法實戰 2、二次排序算法實戰 3、
Spark是分布式內存計算框架，而不是分布式內容存儲框架，搭配tachyon分布式內存文件系統，會更加有效果。在文件模式下，spark比hadoop快10倍，在內存計算模式下，快100倍！下面是一些1
本節課主要內容： 1、RDD創建的幾種方式 2、RDD創建實戰 3、RDD內幕RDD創建有很多種方式，以下幾種創建RDD的
本節課通過代碼實戰演示RDD中最重要的兩個算子，join和cogroupjoin算子代碼實戰：//通過代碼演示join算子val conf = new SparkConf
好程序員大數據學習路線分享彈性分布式數據集RDD，RDD定義，RDD（Resilient Distributed Dataset）叫做分布式數據集，是Spark中最基本的數據抽象，它代表一個不可變
學習spark任何知識點之前，最好先正確理解spark，可以參考：正確理解spark一、序言 對于key-value類型RDD的兩個api， r
使用parallelize創建RDD 也 可以使用makeRDD來創建RDD。通過查看源碼可以發現，makeRDD執行的時候，也是在調用parallelize函數，二者無區別。通過 .textFile
