ES個人虛擬機集群安裝步驟

本篇內容主要講解“ES個人虛擬機集群安裝步驟”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“ES個人虛擬機集群安裝步驟”吧!

ES個人虛擬機集群安裝

• 環境配置篇

• 操作系統選擇

• 系統環境設置

• Jvm環境變量

• Elasticsearch安裝配置

• kibana安裝配置

• 推薦centos7.x或者ubuntu18.x

• 命令：配置文件：/etc/sysctl.conf
  #禁用內存與硬盤交換，需要運維幫助設置，不同環境可能設置不同
  vm.swappiness=1
  #設置虛擬內存大小
  vm.max_map_count=262144

• 命令：配置文件：/etc/security/limits.conf； 星號代表用戶
  #進程線程數
  * soft nproc 131072
  * hard nproc 131072
  #文件句柄數
  * soft nofile 131072
  * hard nofile 131072
  #內存鎖定交換
  * soft memlock unlimited
  * hard memlock unlimited

• 命令：
  #創建ES賬號，如elastic
  useradd elastic
  #授權ES程序目錄elastic賬號權限
  #假設ES程序目錄、數據目錄、日志目錄都在/gpes目錄下
  chown -R elastic:elastic gpes/*
  

• 禁用內存交換，防止內存不夠，交換到磁盤，導致磁盤IO占用和性能下降內存鎖定

• mmpfile存儲內存需要，不配置可能起不來

• 設置進程線程限制，ES進程內置多種線程池，線程數量多

• 設置文件句柄值，ES索引由很多文件組成，打開文件數量多

• Linux下非root賬號，安全限制

• 命令

• ES相關程序需要開啟很多端口http、tcp

• service firewalld stop

• chkconfig firewalld off

• 配置完成后，需要重啟系統

• 1. 防火必須關閉：

• 2. 設置虛擬內存大小

• 命令：配置文件：/etc/profile；注意配置中格式是否正確例如分號和java_home位置
  #ES最新版本自帶jdk版本，默認可以不需要配置，建議配置，便于安裝其他java程序輔助
  #本內容中要求安裝JDK14.X
  export JAVA_HOME=/gpes/jdk.xxx.xx
  export JRE_HOME=$JAVA_HOME/jre
  export PATH=$JAVA_HOME/bin;$PATH
  export CLASSPATH=.;$JAVA_HOME/lib;$JRE_HOME/lib

• 負責無法使用常用自定義java命令，如jconsole，jps等

• cd ${ES_HOME}/jdk/bin

• ./java -version

• ES默認自帶JDK，默認環境下，無需設置，查看自帶OPEN JDK版本

• 建議設置Java環境變量

• Java環境變量: 個人設置一定要與官方推薦jdk版本一致

• elasticsearch.yml 核心配置文件、節點實例屬性參數

• jvm.options 配置堆棧參數等

• log4j2.properties 日志常規配置、默認就好

• 其他

• 集群名稱： 默認無需設置，建議設置

• 節點名稱：單實例不用設置，集群下必須區分設置，建議設置

• IP地址：必須設置，默認僅限本地訪問

• 訪問端口：http端口默認無需設置，tcp端口，默認需求設置

• 集群發現：

• 數據目錄

• 日志目錄

• 內存鎖定

• 線程數或者處理器數：cpu和內存建議值為1:4

• discovery.xxx 單節點無需配置

• cluster.xxx 單節點默認可無需配置

• 多磁盤目錄設置，path.data可設置數組，可優化點

• 默認目錄，生產環境指向磁盤

• 默認未設置，建議必須設置

• 默認參數無需修改

• 處理器數量設置慎重，決定線程池大小

• 命令：配置文件： {ES_HOME}/config/elaticsearch.yml
  #集群名稱，默認可以不修改，建議設置
  cluster.name:gpes01
  #節點名稱，必須修改，默認修改為當前機器名稱，集群下必須區分設置
  node.name:gpes_${HOSTNAME}
  #IP地址，默認是local，僅限本地訪問，外網不可訪問，設置0.0.0.0通用做法
  network.host:0.0.0.0
  #訪問端口，默認http為9200，tcp為9300，建議明確指定
  http.port:9200
  transport.port:9300
  #數據目錄與日志目錄，默認在當前運行程序下，生產環境需要制定
  #  path.data:/path/to/data
  #path.logs:/path/to/logs
  #內存交換鎖定，此處需要操作系統設置才生效
  bootstrap.memory_lock:true
  #防止批量刪除索引
  action.destructive_requires_name:true
  #設置處理器數量，默認無需設置，單機器多實例需要設置
  node.processors:4
  #集群發現配置
  # discovery.seed_hosts:["192.168.86.102:9300"]
  cluster.initial_master_nodes:["192.168.86.102:9300"]
   

• JDK選擇

• GC選擇

• 堆棧大小

• GC日志

• gc.log路徑設置

• 自主配置或者自帶，自主配置的版本一定要與自帶的JDK版本一致

• 7.8.1已經采集G1; 原則JDK14以上采用G1，14以下采用CMS

• 不超過1/2系統內存

• 空余1/2閑置內存

• 內存上線不超過32G，且不能等于32G，JVM原因導致不能超過32G

• 命令：配置文件：{ES_HOME}/config/jvm.options
  #內存堆棧大小，不能超過1/2系統內存，多實例要謹慎
  -Xms 1g
  -Xmx 1g
  #垃圾回收器 CMS與G1，當前CMS依然最好
  8-13:-XX:+UseConcMarkSweepGC
  14:-XX:+UseG1GC
  #GC.log目錄，便于排查gc問題，生產需要修改路徑指向
  8:-Xloggc:logs/gc.log

• 帳戶安全/動態生成/keystore安全文件

• 啟動ES腳本

• 當前窗口啟動： ./elasticsearch

• 后臺進程啟動： ./elasticsearch -d

• wins系統：elasticsearch.bat

• linux系統：

• bin

• config

• jdk

• lib/modules

• plugins

• 其他

• 啟動腳本、常用工具腳本

• 配置

• 自動jdk，可選用，是openjdk

• 程序包

• 自有插件、三方插件

• data，默認數據

• logs，默認日志

• ES文件目錄

• 腳本命令

• 配置文件

• bin：啟動腳本、常用工具腳本

• config：文件配置: {KIBANA_HOME}/config/kibana.yml
  #訪問端口，默認無需修改
  server.port:5601
  #訪問地址IP，默認本地
  server.host:"192.168.86.102"
  #ES服務指向，集群下配置多個
  elasticsearch.hosts:["http://192.168.86.102:9200"]
  #Kibana元數據存儲索引名稱，默認.kibana無需修改，點不能去掉，后綴可以修改
  kibana.index:".kibana"

• 其他：默認、無需關心

• 注意事項：

• 當前窗口：./kibana

• 后臺啟動： nohup ./kibana &

• 啟動命令

• winds系統：kibana.bat

• linux系統：

• 安全、語言、其它

• 默認無需配置，建議配置修改

• IP地址必須配置，默認僅限本地訪問

• 必須配置，默認僅本地

• ES配置指向

• IP+PORT設置

• 元數據索引沉默

• 其他設置

• 必須要刪除${ES_HOME}/logs中由root賬戶產生的日志

• rm -rf *

• cd logs/

• 必須要刪除${ES_HOME}/config中elasticsearch.keystore

• rm elasticsearch.keystore

• cd config/

• 1. 如果第一次用root啟動了，會失敗，第二次要想用其他用戶啟動，要刪除使用root啟動時，自動生成的一些文件

• 文件目錄

• 下載地址

• 下載軟件

• 安裝方式

• 官方地址：https://www.elastic.co/cn/downloads

• Elasticsearch: 7.8.1

• Kibana: 7.8.1 與ES版本一致

• Chrome插件（非官方）：elasticsearch-head

• 暫時不建議，因為數據存儲會存在物理機目錄中而不是容器中

• 1. 購買SAAS產品，騰訊云/阿里云/ES云

• 2. 離線包、推薦，建議xx.gz類似綠色版本

• 3. 在線包

• 4. 容器docker

• 1. 安裝方式選擇

• 2. 系統環境變量配置

到此，相信大家對“ES個人虛擬機集群安裝步驟”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！