#
1、下載 sparkhttp://mirrors.cnnic.cn/apache/spark/spark-1.3.0/spark-1.3.0-bin-hadoop2.3.tgz2、下載scalahtt
Spark集群硬件配置推薦 計算與存儲： 大多數Spark作業可能需要從外部存儲系統（例如 ：Cassandra、Hadoop文件系統或HBase）讀取輸入數據，所以要讓Spark計算引擎盡可能靠近數
[TOC] Spark算子概述 RDD：彈性分布式數據集，是一種特殊集合、支持多種來源、有容錯機制、可以被緩存、支持并行操作，一個RDD代表多個分區里的數據集。 RDD有兩種操作算子： T
Linux 下運行spark local bind on port 0. Attempting port 1 問題2016-11-01&nb
要學會和使用一門技術的時候，首先要弄清楚該技術出現的背景和要解決的問題。要說spark首先要了解海量數據的處理和Hadoop技術。 一個系統在運行的過程中都會產生許多的日志數據，這些日志數據
[TOC] DStream的各種transformation Transformation Meaning map(func) 對DStream中的各個元素進行func函數操作，然后返回一個新
本人親自測試搭建,由于是初學一路搭建下來走了不少彎路。如有不對或更簡潔的步驟請提出環境： win10上安裝的虛擬機，虛擬機裝的centos7，并liunx界面化(之前搭建一次在網和端口都可以telne
dataframe可以實現很多操作，但是存儲到本地的時候，只能存 parquest格式需要存儲源格式，需要轉換為rdd類型將dataframe中的每一行都map成有逗號相連的string，就變為了一個
1、免秘鑰登錄配置： ssh-keygen cd .ssh touch authorized_keys cat id_rsa.pub > authorized_keys chmod 600 au
我們上篇文章中講了，RDD的持久化是spark優化中必須掌握的，并且，在內存不足的情況下，我們可以將持久化類型選擇為MEMORY_ONLY_SER，減少內存的占用，持久化更多的partition，并且
