#
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable"
[TOC] spark單機安裝部署 1.安裝scala 解壓：tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名：mv scala-2.10.5/ scala 配
hu本期內容： 1、Kafka解密背景： 目前No Receivers在企業中使用的越來越多，No Receivers具有更強的控制度，語義一致性。No Recei
RDD源碼中隱式轉換 def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = w
歲月如白駒過隙，認真想了想過去的四個月。其實壓力真的挺大的，上班沒事干時偷偷學，加班學，下班了回去繼續學，有很長一段時間學到了半夜兩點多，第二天七
如今微服務架構討論的如火如荼。但在企業架構里除了大量的OLTP交易外，還存在海量的批處理交易。在諸如銀行的金融機構中，每天有3-4萬筆的批處理作業需要處理。針對OLTP，業界有大量的開源框架、優秀的架
1、partition數目 spark的輸入可能以多個文件的形式存儲在HDFS上，每個File都包含了很多塊，稱為Block。 當Spark讀取這些文件作為輸入時，會根據具體數據格式對應的InputF
學習spark任何技術之前，請先正確理解spark，可以參考：正確理解spark以下對RDD的三種創建方式、單類型RDD基本的transformation api、采樣Api以及pipe操作進行了ja
為什么需要sequenceId? HBase數據在寫入的時候首先追加寫入HLog，再寫入Memstore，也就是說一份數據會以兩種不同的形式存在于兩個地方。那兩個地方的同一份數據需不需要一種機制將兩者
1、安裝依賴包yum install rsync gcc openldap-develpython-ldapmysql-develpython-devel python-setuptools pyth
