cdh官方文檔看后小結(含優化項)001

2019/3/22 星期五
1、安裝后，能裝getway的都要裝getway
2、靜態資源分配默認不打開
3、Cloudera使用以下版本控制約定：major.minor.maintenance。 如果群集運行Cloudera Manager 5.14.0，則主要版本為5; 次要版本是14; 維護版本為0。
Cloudera Manager次要版本必須始終等于或大于CDH次要版本。舊版本的Cloudera Manager可能不支持較新版本的CDH中的功能。
例如，Cloudera Manager 5.12.0可以管理CDH 5.12.2，因為次要版本是相同的。 Cloudera Manager 5.12.0無法管理CDH 5.14.0，因為Cloudera Manager次要版本12小于CDH次要版本14。
重要：使用Cloudera Manager 6.0.x管理CDH 5.15.x或CDH 5.16群集不是受支持的配置。
CDH和Cloudera Manager支持的操作系統
4、?Cloudera強烈反對將RHEL 5用于新安裝。
5、????Cloudera不支持Docker容器中的CDH群集部署。
6、Kudu文件系統要求 - 在ext4和XFS上支持Kudu。
7、Linux文件系統保留記錄訪問每個文件的元數據。這意味著即使讀取也會導致寫入磁盤。為了加快文件讀取速度，Cloudera建議您使用/ etc / fstab中的mount選項禁用此選項，稱為atime：
具體操作 //優化項 *****

[root@NewCDH-0--141 ~]# vim /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Tue Oct 10 15:41:01 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=ea80e99b-8d97-406f-a527-4247483ad7b6 /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

更改為：
/dev/mapper/centos-root /  xfs defaults,noatime 0 0 
/dev/mapper/centos-home /home                   xfs     defaults,noatime        0 0
應用更改而不重新啟動：
mount -o remount / 

noatime - 不更新文件系統上 inode 訪問記錄，可以提升性能(參見 atime 參數)。

參考鏈接為：https://blog.csdn.net/jc_benben/article/details/78224212

7、文件系統掛載選項
文件系統掛載選項具有允許您同步寫入的同步選項。
但是，使用sync選項會導致將數據寫入磁盤的服務性能較差，例如HDFS，YARN，Kafka和Kudu。 在CDH中，大多數寫入都已被復制。 因此，對磁盤進行同步寫入是不必要的，昂貴的，并且不值得提供額外的安全性。
NFS和NAS選項不得用作DataNode數據目錄安裝，即使使用Hierarchal Storage功能也不能使用。
8、Cloudera Manager和CDH隨附嵌入式PostgreSQL數據庫，用于非生產環境。生產環境不支持嵌入式PostgreSQL數據庫。對于生產環境，必須將群集配置為使用外部數據庫。
9、在大多數情況下（但不是全部），Cloudera支持MariaDB，MySQL和PostgreSQL的版本，這些版本是每個受支持的Linux發行版的原生版本。
10、對于MySQL 5.6和5.7，您必須安裝MySQL-shared-compat或MySQL-shared軟件包。這是Cloudera Manager Agent軟件包安裝所必需的。
11、不支持基于MySQL GTID的復制。
//補充 GTID即全局事務ID,器保證為每一個在主上提交的事務在復制集群中可以生成一個唯一的ID.
基于GTID復制：
1.從服務器會告訴主服務器已執行的事務的GTID值。
2.主庫會告訴從哪些GTID事務沒有被執行。
同一個事務在指定的從庫執行一次。

12、cdh不支持mysql的HA //但是我們可以用mysql從
13、要點：重新啟動進程時，將使用Cloudera Manager數據庫中保存的信息重新部署每個服務的配置。 如果此信息不可用，則群集無法啟動或正常運行。 您必須安排并維護Cloudera Manager數據庫的定期備份，以便在丟失此數據庫時恢復群集。 有關更多信息，請參閱備份數據庫。
14、
cdh6.10~5.16 支持mysql 5.1 5.5 5.6 5.7
cdh6.1~5.9 支持 5.1 5.5 5.6
cdh6.0 支持5.1 5.5
線上我們用的是mysql5.6
Cloudera Manager/CDH 5.9 - 5.16 mariadb 5.5 10.0
Cloudera Manager/CDH 5.5 - 5.8 mariadb 5.5

15 java 堆優化
如果堆不需要超過32 GB，請將堆大小設置為31 GB或更小以避免此問題。
如果需要32 GB或更多，請將堆大小設置為48 GB或更高，以考慮較大的指針。通常，對于大小超過32 GB的堆，請將所需的堆數乘以1.5。

16、僅支持64位JDK。所有版本的Cloudera Manager 5和CDH 5都支持Oracle JDK 7.Cloudera Enterprise 5.16.1及更高版本支持OpenJDK 8。任何Cloudera Manager或CDH版本都不支持Oracle JDK 9。

17、jdk7 現在都要升級為jdk8
經過測試和推薦的Oracle JDK 7版本的Oracle JDK版本說明
1.7u80推薦/最新版本測試
1.7u75推薦
1.7u67推薦
1.7u55最低要求
dev118環境我們是：java version "1.7.0_67"

18
對于CDH版本5.13.0及更高版本，由于JDK-8055949，Sentry需要JDK 7u76或更高版本。
CDK 3.0及更高版本由Apache Kafka提供支持需要JDK 8，并且不支持JDK 7。
版本2.2及更高版本的CDS Powered by Apache Spark，可以安裝在CDH 5上，需要JDK 8。
不支持OpenJDK 7。

19、
我們生產用的
java version "1.8.0_102"
由于影響CDH功能的JDK問題，不支持Oracle JDK 8u40,8u45和8u60：
版本2.2及更高版本的CDS Powered by Apache Spark，可以安裝在CDH 5上，需要JDK 8。
CDK 3.0及更高版本由Apache Kafka提供支持需要JDK 8，并且不支持JDK 7。
Oracle JDK 8u60與AWS SDK不兼容，并導致DistCP出現問題。
Oracle JDK 8版本經過測試和推薦Oracle JDK版本說明
1.8u181推薦/最新版本測試
1.8u162推薦/最新版本測試
1.8u144推薦
1.8u131推薦
1.8u121推薦
1.8u111推薦
1.8u102推薦
1.8u91推薦
1.8u74推薦
1.8u31最低要求
經過測試和推薦的OpenJDK 1.8版OpenJDK版本說明
1.8u181測試的最低要求/最新版本

20、
Java密碼學擴展（JCE）無限強度管轄要求如果您使用的是CentOS / Red Hat Enterprise Linux 5.6或更高版本或Ubuntu，則必須在所有群集主機（包括網關主機）上安裝Java Cryptography Extension（JCE）Unlimited Strength Jurisdiction Policy File。這是為了確保JDK使用與Red Hat / CentOS操作系統，Kerberos和CDH群集的其余部分相同的默認加密類型（aes256-cts）。
為JDK 1.8.0_151（及更高版本）啟用無限強度加密
????從JDK 1.8.0_151開始，可以使用JDK 1.8.0_151發行說明中記錄的java.security文件啟用無限強度加密。您無需安裝JCE策略文件。
????自JDK 1.8.0_161起，默認情況下啟用了無限強度加密。不需要采取進一步行動。
所以在生產上要開啟 Kerberos 要用jdk 1.8u181推薦/最新版本測試 1.8u162推薦/最新版本測試

21、
磁盤的建議：
????磁盤空間
????????Cloudera Manager Server
????????????分區托管/ var上有5 GB。
????????????分區托管/ usr上500 MB。
CDH 5（包括Impala和搜索） - 每個包裹1.5 GB（已包裝），每包2 GB（未包裝）
????????????????Impala - 每個包裹200 MB
????????????????Cloudera搜索 - 每個包400 MB
????????Cloudera管理服務 - 主機監視器和服務監視器數據庫存儲在托管/ var的分區上。確保此分區上至少有20 GB可用空間。
默認情況下，解壓縮的宗地位于/ opt / cloudera / parcels中。

22、內存建議
?RAM - 大多數情況下建議使用4 GB，在使用Oracle數據庫時是必需的。對于少于100臺主機的非Oracle部署，2 GB可能就足夠了。
但是，要在具有2 GB RAM的計算機上運行Cloudera Manager Server，必須調低其最大堆大小（通過修改/ etc / default / cloudera-scm-server中的-Xmx）。否則內核可能會因服用太多RAM而終止服務器。
[root@NewCDH-0--141 ~]# vim /etc/default/cloudera-scm-server
export CMF_JAVA_OPTS="-Xmx2G -XX:MaxPermSize=256m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp"

23、
?Python - Cloudera Manager需要Python 2.4或更高版本（但與Python 3.0或更高版本不兼容）。 CDH 5中的Hue和CDH 5的軟件包安裝需要Python 2.6或2.7。所有支持的操作系統都包括Python 2.4或更高版本。 Cloudera Manager通過最新版本的Python 2.x與Python 2.4兼容。 Cloudera Manager不支持Python 3.0及更高版本。

24、
如果Cloudera Manager Server和Agent在同一主機上運行，??請先安裝Cloudera Manager Server，然后添加python-psycopg2存儲庫或軟件包。添加存儲庫或程序包后，安裝Cloudera Manager Agent。

25、
網絡協議支持
CDH需要IPv4。不支持IPv6，必須禁用IPv6。
注意：請與操作系統供應商聯系以獲取有關禁用IPv6的幫

26、
/ etc / hosts文件必須：
????????包含有關所有主機上的主機名和IP地址的一致信息
????????不包含大寫主機名
????????不包含重復的IP地址
127.0.0.1 localhost.localdomain localhost
192.168.1.1 cluster-01.example.com cluster-01
192.168.1.2 cluster-02.example.com cluster-02
192.168.1.3 cluster-03.example.com cluster-03

27、cdh對硬件的要求
/usr 最小5G
Cloudera Manager數據庫5 GB如果Cloudera Manager數據庫與服務監視器和主機監視器共享主機，則需要更多存儲空間來滿足這些組件的要求。

28、基于主機的Cloudera Manager服務器要求
群集主機數量 數據庫主機配置 堆大小 邏輯處理器 Cloudera Manager Server存儲本地目錄
Very small (≤10) Shared 2 GB 4 5 GB minimum
Small (≤20) Shared 4 GB 6 20 GB minimum
Medium (≤200) Dedicated 8 GB 6 200 GB minimum
Large (≤500) Dedicated 10 GB 8 500 GB minimum
Extra Large (>500) Dedicated 16 GB 16 1 TB minimum

注意：在較小的群集上，Cloudera Manager Server和數據庫可以共享主機。 在較大的群集上，它們必須在單獨的專用主機上運行。

29、Service Monitor(服務監視器)要求
使用此表中的建議用于群集，其中具有輔助角色的唯一服務是HDFS，YARN或Impala。

受監視實體數 所需的主機數 Java堆大小 推薦的非Java堆大小
0-2,000 0-100 1 GB 6 GB
2,000-4,000 100-200 1.5 GB 6 GB
4,000-8,000 200-400 1.5 GB 12 GB
8,000-16,000 400-800 2.5 GB 12 GB
16,000-20,000 800-1,000 3.5 GB 12 GB

與HBase，Solr，Kafka或Kudu的集群

在群集中部署HBase，Solr，Kafka或Kudu等服務時，請使用這些建議。 這些服務通常具有更大量的受監控實體。
受監視實體數 所需的主機數 Java堆大小 推薦的非Java堆大小
0-30,000 0-100 2 GB 12 GB
30,000-60,000 100-200 3 GB 12 GB
60,000-120,000 200-400 3.5 GB 12 GB
120,000-240,000 400-800 8 GB 20 GB

30.
Reports Manager
Reports Manager定期從NameNode獲取fsimage。 它讀取fsimage并為其創建Lucene索引。 為了提高索引性能，Cloudera建議配置盡可能強大的主機并將SSD磁盤專用于Reports Manager。
Reports Manager組件Java堆CPU磁盤
報告管理器是fsimage大小的3-4倍。

???? 最少：8個核心
???? 推薦：16核（32核，啟用超線程）。

1個專用磁盤，至少是fsimage大小的20倍。 Cloudera強烈建議使用SSD磁盤。

31、
Cloudera建議RAM為60GB到256GB的節點
磁盤
???? 根卷：100 GB
???? 應用程序塊設備或掛載點（僅限主控主機）：1 TB
???? Docker Image Block設備：1 TB
強烈建議將SSD用于應用程序數據存儲。

33、flume組件需要的硬件資源 //每個組件需要的硬件資源建議 見單獨表格
Java Heap： 最低：1 GB 最大4 GB Java堆大小應大于最大通道容量
CPU： 使用以下公式計算核心數 （來源數量+匯數）/ 2 //(Number of sources + Number of sinks ) / 2
磁盤： 建議將多個磁盤用于文件通道，JBOD設置或RAID10（由于可靠性提高而首選）。

hdfs組件需要的硬件資源：
組件 內存 CPU 磁盤
JournalNode 1 GB（默認）

34、
Cloudera Manager 5.15.2. 5.14.4, 5.13.3, 5.12.2, 5.11.2, 5.10.2, 5.9.3, 5.8.5, 5.7.6, 5.6.1, 5.5.6, 5.4.10, 5.3.10, 5.2.7, 5.1.6, and 5.0.7 are previous stable releases of Cloudera Manager 5.14, 5.13, 5.12, 5.11, 5.10, 5.9, 5.8, 5.7, 5.6, 5.5, 5.4, 5.3, 5.2, 5.1, and 5.0 respectively.
也就是說
5.15.2. 5.14.4, 5.13.3, 5.12.2, 5.11.2, 5.10.2, 5.9.3, 5.8.5, 5.7.6, 5.6.1, 5.5.6, 5.4.10, 5.3.10, 5.2.7, 5.1.6, and 5.0.7
分別是
5.14, 5.13, 5.12, 5.11, 5.10, 5.9, 5.8, 5.7, 5.6, 5.5, 5.4, 5.3, 5.2, 5.1, and 5.0 的穩定版
，所以，我們在選擇安裝的時候就應該選穩定版

35、Cloudera Manager 5.16.1下載地址為：
yum RHEL/CentOS/Oracle 7
https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/ https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz

36、
?CDH 5是當前的穩定版本，基于Apache Hadoop 2.3.0或更高版本。

37 impala是可以脫離cdh單獨安裝的
Impala 2.2.0及更高版本僅適用于CDH 5，所有包都是64位。
Yum RHEL 6/CentOS 6 (64-bit) //單獨安裝只支持centos6和5 系統
https://archive.cloudera.com/impala/redhat/6/x86_64/impala/2/
https://archive.cloudera.com/impala/redhat/6/x86_64/impala/cloudera-impala.repo

38、 5.13.x增加的新功能
1、?支持Spark上的Hive上的地圖連接的動態分區修剪。動態分區修剪（DPP）是一種數據庫優化，可以顯著減少查詢掃描的數據量，從而更快地執行工作負載。默認情況下禁用它，但可以通過將hive.spark.dynamic.partition.pruning.map.join.only屬性設置為true來啟用它。啟用后，DPP僅觸發分區列上的連接是地圖連接的查詢。有關詳細信息
2、?Apache Pig現在支持使用HCatalog以Parquet格式編寫分區Hive表。
3、?Sentry支持Hive Metastore高可用性。

39、
????JDK必須是64位。不要使用32位JDK。
????安裝CDH和Cloudera Manager支持的JDK版本之一。
????在每臺主機上安裝相同版本的Oracle JDK。
????在/ usr / java / jdk-version中安裝JDK。

40、
?或者通過運行命令visudo然后添加以下行為cloudera-scm組添加新的sudo配置：
????％cloudera-scm ALL =（ALL）NOPASSWD：ALL
?必須配置Sudo，以便/ usr / sbin在運行sudo時位于路徑中。實現此目的的一種方法是將以下配置添加到sudoers：
????????使用visudo命令編輯/ etc / sudoers文件
????????將此行添加到配置文件中：
????????默認值為secure_path = / sbin：/ bin：/ usr / sbin：/ usr / bin
vim /etc/sudoers,進入編輯模式，找到這一行："root ALL=(ALL) ALL"在起下面添加"xxx ALL=(ALL) NOPASSWD:ALL"

41
cdh推薦安裝mysql的鏈接 https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_ig_mysql.html 必看
mysql的配置文件 cloudera推薦的

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0

key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log

#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1

binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

42、MySQL 5.6需要5.1驅動程序版本5.1.26或更高版本。
Cloudera建議您在有限數量的主機上合并所有需要數據庫的角色，并在這些主機上安裝驅動程序。 建議在同一主機上定位所有此類角色，但不是必需的。
確保在運行訪問數據庫的角色的每個主機上安裝JDBC驅動程序。
注意：Cloudera建議僅使用JDBC驅動程序的5.1版。
我們線上的jdbc 版本為 mysql-connector-java-5.1.35-bin.jar
mysql安裝的是5.6的 版本
//下載地址和實際操作 官方用的推薦的版本為：mysql-connector-java-5.1.46.tar.gz
Download the MySQL JDBC driver from http://www.mysql.com/downloads/connector/j/5.1.html (in .tar.gz format).
Extract the JDBC driver JAR file from the downloaded file. For example:

tar zxvf mysql-connector-java-5.1.46.tar.gz

Copy the JDBC driver, renamed, to /usr/share/java/. If the target directory does not yet exist, create it. For example:

sudo mkdir -p /usr/share/java/
cd mysql-connector-java-5.1.46
sudo cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

43、Sqoop 2有一個內置的Derby數據庫，但是Cloudera建議您使用PostgreSQL數據庫
//默認是Derby數據庫 Derby以嵌入模式運行，無法監控其運行狀況。
????雖然有可能，Cloudera目前沒有嵌入式Derby數據庫的實時備份策略。

44、mysql數據庫需要備份
備份MySQL數據庫
要備份MySQL數據庫，請在MySQL主機上運行mysqldump命令，如下所示：m
$ mysqldump -hhostname -uusername -ppassword database> /tmp/database-backup.sql
例如，要備份在創建Cloudera軟件數據庫中創建的活動監視器數據庫，請在本地主機上以root用戶身份使用密碼amon_password：
$ mysqldump -pamon_password amon> /tmp/amon-backup.sql
要以root用戶身份備份遠程主機myhost.example.com上的示例活動監視器數據庫，請使用密碼amon_password：
$ mysqldump -hmyhost.example.com -uroot -pamon_password amon> /tmp/amon-backup.sql

45、Cloudera Manager中存儲度量標準數據以及存儲限制如何影響數據保留的信息
服務監視器存儲時間序列數據和運行狀況數據，Impala查詢元數據和YARN應用程序元數據。默認情況下，數據存儲在Service Monitor主機上的/ var / lib / cloudera-service-monitor /中。您可以通過修改服務監視器存儲目錄配置（firehose.storage.base.directory）來更改此設置。
時間序列指標和運行狀況數據 - 時間序列存儲（firehose_time_series_storage_bytes - 默認值為10 GB，最小值為10 GB）
????Impala查詢元數據 - Impala存儲（firehose_impala_storage_bytes - 默認為1 GB）
????YARN應用程序元數據 - YARN存儲（firehose_yarn_storage_bytes - 默認為1 GB）
cdh的 解釋：
專用于存儲 Impala 查詢數據的磁盤空間近似量。存儲達到其最大值后，將會刪除較舊的數據，以便為更新的查詢騰出空間。磁盤使用情況是大概情況，因為只有達到限值后才會刪除數據。
專用于存儲時間序列和運行狀況數據的磁盤空間近似量。存儲達到其最大值后，將會刪除較舊的數據，以便為更新的數據騰出空間。磁盤使用情況是大概情況，因為只有達到限值后才會刪除數據。

46、
在cdh監控端 cloudera-sever-manager 配置
與HBase，Solr，Kafka或Kudu的集群
在群集中部署HBase，Solr，Kafka或Kudu等服務時使用建議。 這些服務通常具有更大量的受監控實體。
受監視實體數 所需的主機數 Java堆大小 推薦的非Java堆大小
0-30,000 0-100 2 GB 12 GB
具有HDFS，YARN或Impala的群集
使用此表中的建議用于群集，其中只有具有輔助角色的服務是HDFS，YARN或Impala。
0-2,000 0-100 1 GB 6 GB

47、步驟2自定義規則排除靜態服務池向導
HDFS
For the NameNode and Secondary NameNode JVM heaps, the minimum is 50 MB and the ideal is max(4 GB, sum_over_all(DataNode mountpoints’ available space) / 0.000008).
//NameNode and Secondary NameNode JVM heaps 推薦 JVM堆 4G

MapReduce
For the JobTracker JVM heap, the minimum is 50 MB and the ideal is max(1 GB, round((1 GB 2.3717181092 ln(number of TaskTrackers in MapReduce service)) - 2.6019933306)). If the number of TaskTrackers <= 5, the ideal is 1 GB.
For the mapper JVM heaps, the minimum is 1 and the ideal is the number of cores, including hyperthreads, on the TaskTracker host. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a task's heap).
For the reducer JVM heaps, the minimum is 1 and the ideal is (number of cores, including hyperthreads, on the TaskTracker host) / 2. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a task's heap).
//對于JobTracker JVM堆 推薦值為1G
mapper JVM heaps 推薦值為1G
the reducer JVM heaps 推薦值為1G

HBase
For the memory total allowed for HBase RegionServer JVM heap, the minimum is 50 MB and the ideal is min (31 GB ,(total RAM on region server host) 0.64)
//對于HBase RegionServer JVM堆允許的內存總量，最小值為50 MB，理想值為min（31 GB，（區域服務器主機上的總RAM） 0.64）

YARN
For the memory total allowed for containers, the minimum is 1 GB and the ideal is (total RAM on NodeManager host) 0.64.
//對于容器允許的內存總量，最小值為1 GB 理想值為（NodeManager主機上的總RAM） 0.64。

Hue
With the exception of the Beeswax Server (only in CDH 4), Hue roles do not have memory limits. Therefore, Cloudera Manager treats them as roles that consume a fixed amount of memory by setting their minimum and ideal consumption values, but not their configuration values. The two consumption values are set to 256 MB.
//除了Beeswax Server（僅在CDH 4中），Hue角色沒有內存限制。因此，Cloudera Manager通過設置最小和理想消耗值而不是其配置值，將它們視為消耗固定內存量的角色。兩個消耗值設置為256 MB。

Impala
With the exception of the Impala daemon, Impala roles do not have memory limits. Therefore, Cloudera Manager treats them as roles that consume a fixed amount of memory by setting their minimum/ideal consumption values, but not their configuration values. The two consumption values are set to 150 MB for the Catalog Server and 64 MB for the StateStore.
For the Impala Daemon memory limit, the minimum is 256 MB and the ideal is (total RAM on daemon host) 0.64.
//除Impala守護程序外，Impala角色沒有內存限制。因此，Cloudera Manager通過設置最小/理想消耗值而不是其配置值，將它們視為消耗固定內存量的角色。目錄服務器的兩個消耗值設置為150 MB，StateStore設置為64 MB。對于Impala Daemon內存限制，最小值為256 MB，理想值為（守護程序主機上的總RAM） 0.64。

Solr
For the Solr Server JVM heap, the minimum is 50 MB and the ideal is min(64 GB, (total RAM on Solr Server host) 0.64) / 2.6. For the Solr Server JVM direct memory segment, the minimum is 256 MB and the ideal is min(64 GB, (total RAM on Solr Server host) 0.64) / 2.
//對于Solr Server JVM堆，最小值為50 MB，理想值為min（64 GB，（Solr Server主機上的總RAM） 0.64）/ 2.6。
對于Solr Server JVM直接內存段，最小值為256 MB，理想值為min（64 GB，（Solr Server主機上的總RAM） 0.64）/ 2。

Cloudera Management Service
Alert Publisher JVM heap - Treated as if it consumed a fixed amount of memory by setting the minimum/ideal consumption values, but not the configuration values. The two consumption values are set to 256 MB.
//通過設置最小/理想消耗值而不是配置值來處理，就好像它消耗了固定數量的內存一樣。兩個消耗值設置為256 MB。
Service and Host Monitor JVM heaps - The minimum is 50 MB and the ideal is either 256 MB (10 or fewer managed hosts), 1 GB (100 or fewer managed hosts), or 2 GB (over 100 managed hosts).
//最小值為50 MB，理想值為256 MB（10個或更少的托管主機），1 GB（100個或更少的托管主機）或2 GB（超過100個托管主機）。
Event Server, Reports Manager, and Navigator Audit Server JVM heaps - The minimum is 50 MB and the ideal is 1 GB.
//Event Server, Reports Manager, and Navigator Audit Server JVM heaps 1 GB
Navigator Metadata Server JVM heap - The minimum is 512 MB and the ideal is 2 GB.
Service and Host Monitor off-heap memory segments - The minimum is either 768 MB (10 or fewer managed hosts), 2 GB (100 or fewer managed hosts), or 6 GB (over 100 managed hosts). The ideal is always twice the minimum.

步驟3靜態服務池向導的自定義規則
YARN
For the memory total allowed for containers, the minimum is 1 GB and the ideal is min(8 GB, (total RAM on NodeManager host) 0.8 service percentage chosen in wizard).
//對于容器允許的內存總量，最小值為1 GB，理想值為min（8 GB，（NodeManager主機上的總RAM） 0.8 向導中選擇的服務百分比）。

Impala
For the Impala Daemon memory limit, the minimum is 256 MB and the ideal is ((total RAM on Daemon host) 0.8 service percentage chosen in wizard).
//對于Impala Daemon內存限制，最小值為256 MB，理想值為（（守護程序主機上的總RAM） 0.8 在向導中選擇的服務百分比）。

MapReduce
Mapper JVM heaps - the minimum is 1 and the ideal is (number of cores, including hyperthreads, on the TaskTracker host service percentage chosen in wizard). Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a given task's heap).
//Mapper JVM heaps最小值為1，理想值為（在向導中選擇的TaskTracker主機服務百分比上的核心數，包括超線程）。 內存消耗由mapred_child_java_opts_max_heap（給定任務的堆的大小）進行縮放。
Reducer JVM heaps - the minimum is 1 and the ideal is (number of cores, including hyperthreads on the TaskTracker host service percentage chosen in wizard) / 2. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a given task's heap).
//Reducer JVM堆 - 最小值為1，理想值為（核心數，包括在向導中選擇的TaskTracker主機服務百分比上的超線程）/ 2.內存消耗由mapred_child_java_opts_max_heap（給定任務堆的大小）進行縮放。

Step 3 Generic Rule
For every {role, segment} pair, the segment's current value is converted into bytes, and then multiplied by the scale factor (1.0 by default, 1.3 for JVM heaps, and freely defined for Custom Service Descriptor services).
//
第3步通用規則
對于每個{role，segment}對，段的當前值將轉換為字節，然后乘以比例因子（默認情況下為1.0，JVM堆為1.3，自定義服務描述符服務自由定義）。

48、修改hbase的gc配置https://www.cloudera.com/documentation/enterprise/5-13-x/topics/admin_hbase_garbage_collection.html
??在每個RegionServer上，編輯conf / hbase-env.sh。
????在以HBASE_OPTS開頭的行上添加或修改JVM配置選項。
????重新啟動RegionServer。
在界面上也可以配置

50、hbase禁用BoundedByteBufferPool

51、Cloudera Manager包含內部機架感知腳本，但您必須指定群集中主機所在的機架。如果您的群集包含10個以上的主機，Cloudera建議您為每個主機指定機架。 HDFS，MapReduce和YARN將自動使用您指定的機架。
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.html

52、cdh不同版本支持的操作系統 參考鏈接為
https://blog.csdn.net/high3011/article/details/78131668
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#concept_xdm_rgj_j1b

參考鏈接：
講解了cdh中組件的通用規則 *****
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_autoconfig.html
MYSQL 基于GTID的復制 https://www.cnblogs.com/yg_zhang/p/5914824.html