#
本期主要介紹下spark的內核架構。spark的應用程序總體來說，主要包括兩部分，一部分是Driver,其包括了SparkConf和SparkContext，另一部分就是Executor，
一、Scala環境基礎 Scala對Java相關的類，接口進行了包裝，所以依賴Jvm環境。 Jdk 1.8 scala 依賴 scala 2.11 安裝版本 idea 2017.3 開發工具
代碼如下：package com.dt.spark.streaming import org.apache.spark.sql.SQLContext import or
1.Spark的核心概念是RDD (resilient distributed dataset)，指的是一個 只讀的，可分區的分布式數據集，這個數據集的全部或部分可以緩存在內存中，在多次計算間重用。2
Spark SQL支持兩種方式將現有RDD轉換為DataFrame。第一種方法使用反射來推斷RDD的schema并創建DataSet然后將其轉化為DataFrame。這種基于反射方法十分簡便，但是前提
從 Hadoop 說
??spark提供了對數據的核心抽象——彈性分布式數據集（Resilient Distributed Dataset，簡稱RDD）。RDD是一個分布式的數據集合，數據可以跨越集群中的多個機器節點，被分
spark
火花前的時間(http://www.3if0.com)要了解Spark的潛力，它有助于在十年前回顧大數據的形狀。在2008 - 2009年，大數據即業務概念經常與Hadoop技術混為一談。Hadoop
Spark 2.x企業級大數據項目實戰（實時統計、離線分析和實時ETL）網盤地址：https://pan.baidu.com/s/12SYlzRX3fS6R1Ig_kblx1Q 提取碼：mosm備用地
