centos7 安裝gpfs 4.1.1.3

一、節點準備

1、節點配置

2、安裝ntp

yum install ntp -y
service ntpd start
systemctl enable ntpd

二、安裝gpfs

1、設置ssh無密碼登錄

salt-ssh -i '*' cp.get_file salt://id_rsa /root/.ssh/id_rsa
salt-ssh -i '*' cp.get_file salt://id_rsa.pub /root/.ssh/id_rsa.pub
salt-ssh -i '*' cmd.run 'chmod 600 /root/.ssh/id_rsa'
salt-ssh -i '*' cmd.run 'chmod 600 /root/.ssh/id_rsa.pub'

2、安裝gpfs

salt-ssh -i 'g*' cmd.run 'cd /root/gpfs && tar xvzf GPFS_4.1_ADV_LSX.tar.gz'
salt-ssh -i 'g*' cmd.run 'cd /root/gpfs/gpfs_install-4.1.0-0_x86_64 --silent'

salt-ssh -i 'g*' cmd.run 'yum localinstall /usr/lpp/mmfs/4.1/*rpm -y'

salt-ssh -i 'g*' cmd.run 'bash /root/gpfs/Spectrum_Scale_Advanced-4.1.1.3-x86_64-Linux-update'
salt-ssh -i 'g*' cmd.run 'mv /usr/lpp/mmfs/4.1.1.3/gpfs.hadoop-connector-2.7.0-2.x86_64.rpm /usr/lpp/mmfs/4.1.1.3/gpfs.hadoop-connector-2.7.0-2.x86_64.rpm.orig'

salt-ssh -i 'g*' cmd.run 'yum localinstall /usr/lpp/mmfs/4.1.1.3/*rpm -y'

3、編譯gpfs內核模塊，在其中一個節點上執行

3.1、編譯內核模塊

cd /usr/lpp/mmfs/src/
yum install kernel-devel cpp gcc gcc-c++
make LINUX_DISTRIBUTION=REDHAT_AS_LINUX Autoconfig
make World
make InstallImages

3.2、將gpfs內核模塊編譯為rpm包

yum install rpm-build
make rpm

3.3、將編譯好的rpm包復制到其他節點并安裝

4、設置path變量

salt-ssh -i 'g*' file.append /etc/profile 'export PATH=$PATH:/usr/lpp/mmfs/bin/'

三、創建gpfs集群

1、創建gpfs節點

編輯用于創建節點的配置文件

cat <<EOF>> /root/gpfs_config/nodefile
g0:quorum-manager
g1:quorum-manager
g2:quorum-manager
g3:manager
g4:manager
g5:manager
EOF

創建gpfs集群

mmcrcluster -N /root/gpfs_config/nodefile -p g0 -s g1 -C gpfscluster -A -r /usr/bin/ssh -R /usr/bin/scp

參數：-N表示節點的配置文件

-p表示主節點
-s表示第二節點（Secondary cluster configuration server）
-C集群名稱

—A表示當一個節點重啟的時候GPFS守護進程不會關閉。
-r和-R都是通信協議。

2、授權license

mmchlicense server --accept -N g0,g1,g2,g3,g4,g5

3、添加nsd

編輯nsdfile.cfg

%pool: pool=system blockSize=512K layoutMap=cluster
%pool: pool=datapool blockSize=2M layoutMap=cluster writeAffinityDepth=1 blockGroupFactor=256

%nsd: device=/dev/vdb servers=g0 nsd=metansd00 usage=metadataOnly pool=system

%nsd: device=/dev/vdb servers=g1 nsd=metansd01 usage=metadataOnly pool=system

%nsd: device=/dev/vdb servers=g2 nsd=metansd02 usage=metadataOnly pool=system  

%nsd: device=/dev/vdb servers=g3 nsd=datansd00 usage=dataOnly pool=datapool

%nsd: device=/dev/vdb servers=g4 nsd=datansd01 usage=dataOnly pool=datapool

%nsd: device=/dev/vdb servers=g5 nsd=datansd02 usage=dataOnly pool=datapool

添加nsd

mmcrnsd -F  nsdfile.cfg

4、啟動集群

mmstartup -a
# 查看集群狀態：
mmgetstate -La

5、創建gpfs文件系統

# mmcrfs /gpfs gpfs -F nsdfile.cfg -A yes -v no
mmcrfs gpfs -F nsdfile.cfg -A yes -B 1M -j hcluster -m 2 -r 2 -M 3 -R 3 -T /gpfs --metadata-block-size 256K -v no
參數說明：

gpfs：表示文件系統的名稱
-F：指定NSD配置文件
-A:當系統守護進程啟動時該項設置為yes
-B:指定數據塊的大小，其值必須是16k,64k,128k,256k,512k,1M,2M,4M,8M,16M.
-j:指定映射類型
-m:元數據副本數的默認值
-M:元數據副本數的最大值
-r:數據副本數的默認值
-R:數據副本數的最大值
-T:掛載點
--metadata-block-size：元數據節點塊的大小
-v   校驗建立磁盤是否已有文件系統 為否

mmshutdown -a
mmchconfig maxblocksize=2048K
mmstartup -a
mmcrfs gpfs -F nsdfile.cfg -A yes  -j hcluster -m 2 -r 2 -M 3 -R 3 -T /gpfs -v no

6、掛載文件系統

mmmount gpfs /gpfs –N all