#
[TOC] 基本概述 1、Spark 1.0版本以后，Spark官方推出了Spark SQL。其實最早使用的，都是Hadoop自己的Hive查詢引擎；比如MR2，我們底層都是運行的MR2模型，底層都
??自從公司使用大數據產品之后，就很少碰開源的東西了，集群出問題也是跟研發溝通，前些天有朋友問我，怎么能把hive底層的引擎換成spark，我想了想，是不是將hive的數據庫共享給spark然后用sp
一、概要 公司近期Storm清洗程序那邊反應HDFS會出現偶發性的異常導致數據寫不進HDFS，另外一些Spark作業在大規模往HDFS灌數據時客戶端會出現各種“all datanode b
1、spark sql的概述 （1）spark sql的介紹： Spark SQL 是 Spark 用來處理結構化數據（結構化數據可以來自外部結構化數據源也可以通 過 RDD
學習任何spark知識點之前請先正確理解spark，可以參考：正確理解spark本文詳細介紹了spark key-value類型的rdd java api一、key-value類型的RDD的創建方式1
上一篇博文已經介紹了搭建scala的開發環境，現在進入正題。如何開發我們的第一個spark程序。下載spark安裝包，下載地址http://spark.apache.org/downloads.htm
1. Spark提交任務./spark-submit --class "com.prime.dsc.mention.main.WordCountForSpark" --master spark://D
Spark機器學習Pipelines中的主要概念MLlib 提供的API可以通過Pipelines將多個復雜的機器學習算法結合成單個pipeline或者單個工作流。這個概念和scikit-l
在提交spark作業的時候，spark出現報錯 ./spark-shell 19/05/14 05:37:40 WARN util.NativeCodeLoader: Unable to load
學習任何的spark技術之前，請先正確理解spark，可以參考：正確理解spark以下是用spark RDD java api實現從關系型數據庫中讀取數據，這里使用的是derby本地數據庫，當然可以是
