#
一、概述1.實驗環境基于以前搭建的haoop HA；2.spark HA所需要的zookeeper環境前文已經配置過，此處不再重復。3.所需軟件包為：scala-2.12.3.tgz、spark-2.
在AndroidManifest.xml中相應的activity標簽處添加如下內容即可得到透明Activity： android:theme="@android:style/Theme.Translu
一、簡介 在 Spark 中，提供了兩種類型的共享變量：累加器 (accumulator) 與廣播變量 (broadcast variable)： 累加器：用來對信息進行聚合，主要用于累計計數等場景
對于Spark而言，如果大家只是想摸一下、熟悉熟悉而已，可以搭建單機的Spark，大致步驟如下（我使用VMWare下的Ubuntu 14.04，暫不考慮安全問題，在root下運行）：&nb
1. 持久化算子cache 介紹：正常情況下，一個RDD是不包含真實數據的，只包含描述這個RDD元數據信息，如果對這個RDD調用cache方法，那么這個RDD的數據，依然沒有真
[TOC] Spark RDD持久化 RDD持久化工作原理 Spark非常重要的一個功能特性就是可以將RDD持久化在內存中。當對RDD執行持久化操作時，每個節點都會將自己操作的RDD的partiti
一、spark的產生背景（1）MapReduce的發展：MRv1的缺點：早在 Hadoop1.x 版本，當時采用的是 MRv1 版本的 MapReduce 編程模型。MRv1 版本的實現 都封裝在 o
Databricks官方是這樣描述Databricks優勢的：????????像Databricks這樣的云平臺提供了一套集成的、主機托管的解決方案，消除了企業采用Spark和確保大數據項目成功所面臨
本文首發于 vivo互聯網技術 微信公眾號 作者：李勇 目錄： 1.左表 join 后條件下推 2.左表join中條件不下推 3.右表join中條件下推 4.右表join中條件不下推 5
魯春利的工作筆記，好記性不如爛筆頭Spark1.5.1學習筆記（一）Standalone集群配置 http://luchunli.blog.51cto.c
