如何實現spark thriftserver運維

如何實現spark thriftserver運維，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

spark thriftserver運維：

在root@spark_master_machine機器上

啟動 thriftserver

/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/start-thriftserver.sh \

  --hiveconf hive.server2.thrift.port=10000 \

  --hiveconf hive.server2.thrift.bind.host=spark_master_machine  \

  --master  spark://spark_master_machine:7077  --executor-memory 24g  --executor-cores 8  --total-executor-cores 136 --driver-memory 10g --driver-java-options -XX:MaxPermSize=2g

停止 thriftserver

/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/stop-thriftserver.sh 

note：

1.為了spark thrift server指定比較多的core：配置了spark-defaults.conf里spark.driver.cores

通過./sbin/start-thriftserver.sh -–help 可以用來查看可以使用哪些參數,沒有發現driver-cores的指定方式，為了指定thrift server可以使用多少個core，在spark-defaults.conf中指定(不要在這臺機器提交spark 任務，去腳本機器提交任務)

#

spark-defaults.conf配置如下：

spark.master                    spark://spark_master_machine:7077 

spark.eventLog.enabled           true

spark.eventLog.dir               hdfs:/namenodewithoutport/user/root/kk

spark.driver.cores               10

#

2.指定total-executor-cores來限制ExecutorID產生的數量。

如果--executor-cores 6 --total-executor-cores 102 --executor-memory 16g，

每個worker如果還閑置6core，以及16內存， 那么Executor產生兩個，導致使用掉worker機器所分配的最大內存(這里分配了32g)，也就會產生34個Executor

3.(防止beeline報錯，MaxPermSize不夠，增加配置--driver-java-options -XX:MaxPermSize=2g,配置了這個，也只是thriff server這個spark driver program MaxPermSize變化了，這個app的executor還是-XX:MaxPermSize=128m)

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。