MFS分布式文件系統原理及環境搭建

傳統NFS存儲缺點分析：

• 幾臺web服務器通過NFS共享一個存儲，在業務功能上可以滿足需求，但在性能與容量上,NFS無法勝任更高的要求，隨著業務量的增加，經常出現超時的問題，而且NFS存在著單點故障的問題，盡管可以用rsync同步數據到另外一臺服務器上做備份但對提高整個系統的性能并無幫助。

MFS：分布式文件系統介紹：

• MFS是一個具有容錯性的網絡分布式文件系統，它把數據分散存放在多個物理服務器上，而呈現給用戶的則是一個統一整合的資源。

MFS是一個具有容錯功能的，高可用，可擴展的海量級分布式文件系統；

MFS把數據分散在多臺服務器上，單用戶看到的只是一個源；

數據訪問不再是一對多的關系，而是多對多，相較NFS性能大幅度提升；

包含了層級結構和文件屬性，可以創建特殊的文件（塊設備，字符設備，管道，套接字），符號鏈接和硬鏈接。

分布式原理：

• 分布式文件系統（distributed file system）是指文件系統管理的物質存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。簡單說就是把一些分布在局域網內各個計算機上的共享文件夾，集合到一個虛擬共享文件夾內，客戶端訪問只需要打開這個虛擬共享文件夾，就可以看到所有鏈接到虛擬共享文件夾內的共享文件，用戶感覺不到這些共享文件是分散于各個計算機上的。 分布式文件系統的優點：集中訪問、簡化操作、數據容災、提高了文件的存儲性能。

MFS文件系統的組成：

• 元數據服務器（Master）:在整個體系中負責管理文件系統，維護元數據。

• 元數據日志服務器（MetaLogger）:備份Master服務器的變化日志文件，文件類型為changelog_ml.*.mfs 當Master服務器數據丟失或者損壞時，可以從日志服務器中取得進行恢復。

• 數據存儲服務器（Chunk server）:真正存儲數據的服務器。將文件分塊保存，并相互進行復制。

• 客戶端（Client）:可以像掛載NFS一樣掛載MFS文件系統，其操作是相同的。

MFS文件系統的組成架構如下圖所示：

MFS讀取數據的處理過程：

• 客戶端向元數據服務器發出讀請求;

• 元數據服務器把所需數據存放的位置（Chunk server的IP地址和Chunk編號）告知客戶端.

• 客戶端向已知的Chunk server請求發送數據。

• Chunk server向客戶端發送數據。

MFS寫入數據的處理過程：

• 客戶端向元數據服務器發送寫入請求。

• 元數據服務器與Chunk server進行交互，但元數據服務器只在某些服務器創建新的分塊Chunks,創建成功后由Chunk server告知元數據服務器操作成功。

• 元數據服務器告知客戶端，可以在哪個Chunk server的哪些Chunks寫入數據。

• 客戶端向指定的Chunk server寫入數據。

• 該Chunk server與其他Chunk server進行數據同步，同步成功后Chunk server告知客戶端數據寫入成功。

• 客戶端告知元數據服務器本次寫入完畢。

實驗環境介紹

主機	IP地址	安裝軟件包	操作系統
Master Server	192.168.30.55	mfs-1.6.27-5.tar.gz	CentOS7
MetaLogger Server	192.168.30.10	mfs-1.6.27-5.tar.gz	CentOS7
Chunk Server1	192.168.30.4	mfs-1.6.27-5.tar.gz	CentOS7
Chunk Server2	192.168.30.5	mfs-1.6.27-5.tar.gz	CentOS7
Client	192.168.30.6	mfs-1.6.27-5.tar.gz，fuse-2.9.2.tar.gz	CentOS7

實驗部署

首先分別在這幾個實驗主機上關閉防火墻，selinux

systemctl stop firewalld.service

setenforce 0

一，搭建Master Server

• yum安裝編譯環境包

yum install -y zlib-devel gcc gcc-c++

• 創建運行用戶mfs

useradd mfs -s /sbin/nologin

• 安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \           #指定安裝路徑

--with-default-user=mfs \            #指定運行用戶，組為mfs

--with-default-group=mfs \

--disable-mfschunkserver \           #關閉節點功能

--disable-mfsmount                         #關閉掛載

make && make install

• 復制配置文件

在Master上需要用到的配置文件有兩個：mfsmaster.cfg（主配置文件）和mfsexports.cfg（被掛載目錄及權限配置文件）

cd /usr/local/mfs/etc/mfs/

cp mfsexports.cfg.dist mfsexports.cfg

cp mfsmaster.cfg.dist mfsmaster.cfg

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

cd /usr/local/mfs/var/mfs/

cp metadata.mfs.empty metadata.mfs

不需要對配置文件做任何修改就可以開始工作

• 啟動Master Server

/usr/local/mfs/sbin/mfsmaster start 
ps aux | grep mfs

停止Master Server的命令

/usr/local/mfs/sbin/mfsmaster -s

二，搭建MetaLogger Server

• yum安裝編譯環境包

yum install -y zlib-devel gcc gcc-c++

• 創建運行用戶mfs

useradd mfs -s /sbin/nologin

• 安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \           #指定安裝路徑

--with-default-user=mfs \            #指定運行用戶，組為mfs

--with-default-group=mfs \

--disable-mfschunkserver \           #關閉節點功能

--disable-mfsmount                         #關閉掛載

make && make install

• 復制配置文件

cd /usr/local/mfs/etc/mfs/

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

• 修改配置文件

vi mfsmetalogger.cfg

..............

MASTER_HOST = 192.168.30.55

..................

• 啟動服務

/usr/local/mfs/sbin/mfsmetalogger start

三，搭建chunk Server（兩臺節點服務配置一樣）

• yum安裝編譯環境包

yum install -y zlib-devel gcc gcc-c++

• 創建運行用戶mfs

useradd mfs -s /sbin/nologin

• 安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \           #指定安裝路徑

--with-default-user=mfs \            #指定運行用戶，組為mfs

--with-default-group=mfs \

--disable-mfsmaster \           #關閉master功能

--disable-mfsmount                         #關閉掛載

make && make install

• 復制配置文件

cd /usr/local/mfs/etc/mfs/

cp mfschunkserver.cfg.dist mfschunkserver.cfg

cp mfshdd.cfg.dist mfshdd.cfg

• 修改配置文件

vi mfschunkserver.cfg

MASTER_HOST = 192.168.30.55

• 指定 MFS共享文件存儲目錄，

實際生產環境需要單獨提供磁盤陣列作為專門的MFS存儲目錄，這里只是進行實驗，所以使用一個單獨的目錄代替

vi mfshdd.cfg

/data

mkdir / data

chown -R mfs:mfs /data

• 啟動服務

/usr/local/mfs/sbin/mfschunkserver start

ps aux | grep mfs

四，客戶端client配置

• yum安裝編譯環境包

yum install -y zlib-devel gcc gcc-c++

• 創建運行用戶mfs

useradd mfs -s /sbin/nologin

• 安裝mfs源碼包之前安裝fuse插件，MFS客戶端依賴于fuse

tar xzvf fuse-2.9.2.tar.gz

cd fuse-2.9.2

./configure

make && make install

• 設置環境變量

echo "export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH" >>/etc/profile

source /etc/profile

• 安裝mfs源碼包客戶端

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \           #指定安裝路徑

--with-default-user=mfs \            #指定運行用戶，組為mfs

--with-default-group=mfs \

--disable-mfsmaster \           #關閉master功能

--disable-mfschunkserver \       #關閉節點功能

--enable-mfsmount                         #關閉掛載

make && make install

• 掛載MFS文件系統

mkdir /opt/mfs               //創建掛載點

modprobe fuse          //加載fuse模塊到內核//

/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.30.55    掛載MFS

df -hT      查看掛載情況

如果要卸載，使用umount /opt/mfs即可。

• 優化客戶端

echo "export PATH=/usr/local/mfs/bin:$PATH" >>/etc/profile

source /etc/profile

• MFS常用操作

MFS在客戶端安裝完畢后，會生成/usr/local/mfs/bin目錄，在這個目錄下有很多命令，

• mfsgetgoal：用來查詢文件被復制的份數，利用-r選項可以對整個目錄進行遞歸，goal是指文件被復制的份數

• mfssetgoal：設置文件被恢復的份數，生產環境中chunk server節點數量應至少大于2，文件副本數小于等于chunk server服務器的數量

mfsgetgoal -r /opt/mfs

mfssetgoal -r 2 /opt/mfs/

echo abc123 >/opt/mfs/test1

• 在chunk server上可以查看存儲的文件單元

所有配置工作做好了

五，在Master Server上啟動監控

• Mfscgiserv是用python編寫的一個web服務器，其監聽端口是9425，可以在master server上通過命令/usr/local/mfs/sbin/mfscgiserv來啟動，用戶利用瀏覽器就可以全面監控所有客戶掛載，chunk server，master server，以及客戶端的各種操作等

/usr/local/mfs/sbin/mfscgiserv

 

通過瀏覽器訪問http://192.168.30.55:9425