亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

rsync+inotify實現實時同步

發布時間:2020-07-18 19:01:09 來源:網絡 閱讀:815 作者:e民工 欄目:建站服務器

1、數據同步:

1.數據同步:

A服務器的一個目錄同步到B服務器上的一個目錄

方法是:可以在A服務器上把這個目錄共享(如ftp,http等),然后B服務器上寫shell腳本,用crontab做定時任務下載過來(數據同步不實時)

實時同步

方法是:rsync遠程目錄實時同步

             drbd遠程存儲實時同步(很老的方案)

             共享存儲,就是同一個磁盤設備同時被很多人用

             分布式存儲(云存儲)

2、同步、異步和遠程同步

sync同步

async異步

rsync 遠程同步

這里主要說rsync,在開始之前需要了解以下幾個問題:

rsync是什么;rsync的工作原理;rsync優點不足;rsync認證方式;安裝rsync;rsync命令參數詳解;配置rsync;rsync的啟動與關閉;rsync同步實例

2.1 rsync是什么

rsync(remote synchronize)是Liunx/Unix下的一個遠程數據同步工具。它可通過LAN/WAN快速同步多臺主機間的文件和目錄,并適當利用rsync算法(差分編碼)以減少數據的傳輸。

rsync第一次會全量傳輸,后續會對比兩個文件的不同,只傳輸文件更新的部分,傳輸速度比一般工具快。

rsync還可以拷貝、顯示目錄屬性及拷貝文件,并可選擇性的壓縮及遞歸拷貝。

2.2 rsync的工作原理

2.2.1 命令或者腳本運行之后,同步端開始構造FileList,FileList就是被同步端需要同步的文件索引,name->id(每個文件都有一個id值,如MD5)

2.2.2 同步端構造完成之后,將FileList發送到被同步端,被同步端rsync處理發送的FileList,然后開始同步。

2.2.3第二次同步時,因為兩邊的都有文件,同步端構造發送這邊的FileList,被同步端rsync處理同步端發送的FileList,根據MD5值比較,刪除同步端已經相同的文件信息,保留不存在和更新的文件,來構建新的FileList。

2.2.4 同步端收到被同步端新的FileList,然后開始同步文件到同步端。

2.3 rsync有點

優點:

安全性高

備份迅速,使用同步算法,只比較變化

支持增量備份

保存源目錄整個目錄樹和文件系統

保持源文件的權限、時間、軟硬連接等

無需特使權限即可安裝

優化流程和比較高的文件傳輸效率。

多樣方式來傳輸文件。

支持匿名運行,方便網站鏡像。

與scp相比,rsync傳輸速度遠在scp之上。(局域網測試,rsync是scp的20倍)

解決對實時性要求不高的數據備份需求

不足:

同步數據,需要掃描所有文件進行對比,才進行差量傳輸。如果文件數量達到百萬甚至千萬級,掃描文件對比文件將非常耗時,降低了rsync效率。

rsync不能實時地區監測、同步數據。雖然可以通過守護進程方式觸發同步,但兩次動作間有時間差,導致數據不一致,無法應對出現故障時完全恢復數據。

解決: rsync+inotify來彌補不足。

2.4 認證方式

2.4.1 兩種方式

rsync-daemon

ssh

注意:在使用rsync時,同步端和被同步端都必須安裝rsync程序。

2.4.2 rsync-daemon認證

rsync-daemon認證方式下,默認監聽毒tcp的873端口

在rsync-daemon認證下,rsync可以把密碼寫入到一個文件中。

注意:被同步端的rsync必須啟動,配置文件。同步端可以不起動服務,但必須有這個應用。

2.4.3 ssh認證

通過ssh隧道進行傳輸,類似于scp工具,同步操作不在局限于rsync中定義的同步文件夾,并且雙方只要安裝rsync,也不要雙方啟動rsync。

如:rsync -avz /root/test root@192.168.19.248:/root/

若rsync服務端SSH為非標準端口,可通過rsync的-e參數進行端口指定。使用方式如下:

rsync -avz /root/test -e ‘ssh -p1234’ root@192.168.19.248:/root/

2.5一般用到的工具跟實例

2.5.1 wget工具

wget http://10.1.1.9/linux_basic01.txt   --直接下載到當前目錄
wget --no-check-certificate https://www.baidu.com/img/bd_logo1.png   # 有https連接的,下載時需要加--no-check-certificate參數
wget http://10.1.1.9/linux_basic01.txt -O /test/123  #把文件下載下來改名為/test/123
wget -m -k -np http://10.1.1.9/shell/#只下載shell目錄,但注意shell后面一定要加/
wget -m  http://www.xxx.com#下載整個網站

2.5.2 轉化本地yum源:

如何下載一個epel的擴展yum源,并轉化成本地的yum源

使用wget下載;使用reposync下載

reposync下載的做法步驟如下:

先在本地yum配置里寫上你要下載的yum源的路徑,如

# vim /etc/yum.repos.d/rhel-source.repo
[epel]
server=epel
baseurl=http://xxx.xxx.xxx/--網絡路徑
gpgcheck=0
enabled=1
# yum repolist    --列出你現在所有配置的repo的名字
# reposync --repoid=epel--把epel路徑的所有軟件包下載到本地當前目錄
下載到本機目錄后,cd進去,使用createrepo  .命令創建軟件倉庫的貨物清單目錄repodata
把yum的寫法改成
# vim /etc/yum.repos.d/rhel-source.repo
[epel]
server=epel
baseurl=file:///xxx/--寫上你的本地目錄路徑(也就是repodata的上級目錄地址)
gpgcheck=0
enabled=1

3 安裝rsync

兩種方式:源碼安裝和rpm安裝

3.1源碼安裝

3.1.1 下載

先去官網下載源碼包

https://rsync.samba.org/
wget --no-check-certificate https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz

有https連接的,下載時需要加--no-check-certificate參數

3.1.2 安裝

[root@localhost rsync-3.1.2]# tar xf rsync-3.1.2.tar.gz 
[root@localhost rsync-3.1.2]# cd rsync-3.1.2
[root@localhost rsync-3.1.2]# ./configure
[root@localhost rsync-3.1.2]# make && make install
注意:需要gcc庫要提前安裝
默認會安裝到/usr/local/下,通過./configure --help

rsync+inotify實現實時同步

安裝完成后,查看rsync幫助,需要切換到/usr/local/bin目錄下:
/usr/local/bin
rsync -h
[root@localhost rsync-3.1.2]# cd /usr/local/bin
[root@localhost bin]# ll
total 1344
-rwxr-xr-x 1 root root 1373922 May 16 18:46 rsync
[root@localhost bin]# pwd
/usr/local/bin
源碼安裝的rsync,需要開機啟動,把啟動命令放在rc.local文件中,如下:
echo “/usr/local/bin/rsync –daemon –config=/etc/rsyncd.conf”>>/etc/rc.local
也可以寫成:
echo “/usr/local/bin/rsync –daemon”>>/etc/rc.local
cat /etc/rc.local

3.2 RPM方式安裝

直接yum安裝:yum -y install rsync
查看rsync安裝位置,如下:
[root@localhost bin]# rpm -ql rsync
rsync安裝到了/usr/bin,并且生成一個/etc/xinetd.d/rsync文件。
查看安裝時產生的幫助文檔:
[root@localhost bin]# more /usr/share/doc/rsync-3.0.6/README
which rsync
rsync --help

3.3 能否把rsync做成服務的形式,加上一些控制功能或日志記錄功能

3.3.1兩個知識點:

xinetd

man rsyncd.conf

兩個一起共存,共同控制rsync

3.3.2 xinetd介紹

xinetd類似于一個托管服務,托管其他一些其它小服務,好處是可以使用xinetd強大的參數來控制這些服務

如:

/etc/xinetd.conf--主配置文件,一般不用配置,主要配置子配置文件
/etc/xinetd.d--子配置文件目錄
xinetd服務相當于是所有被拖管服務的總開關
# yum install  -y xinetd
xinted需要配置文件:
vi /etc/xinetd.d/rsync    --(man xinetd.conf參考幫助)
service rsync
{
disable = no     --yes表示關閉,no表示開啟 (啟動rsync服務,兩個條件:1,disable = no 2,xinetd服務要啟動)
flags = IPv6
socket_type = stream
wait = no        --并發連接
user = root      --跑守護進程的用戶
server = /usr/bin/rsync  --啟動程序路徑
server_args = –daemon –config=/etc/rsyncd.conf --啟動參數(這三個參數合起來就是表示用root身份執行/usr/bin/rsync --daemon來啟動rsync服務)
log_on_failure += USERID  --控制日志格式,表示登錄服務失敗時,在日志原格式上加上記錄USERID
}
配置完畢,還需要安裝xinted軟件包,否則無法啟動xinetd
root@localhost bin]# yum install -y xinetd
[root@localhost bin]# /etc/init.d/xinetd start
Starting xinetd:                                           [  OK  ]
[root@localhost bin]# /etc/init.d/xinetd start
Starting xinetd:                                           [  OK  ]
[root@localhost bin]# chkconfig xinetd on
[root@localhost bin]# netstat -tlunp |grep 873
tcp        0      0 :::873                      :::*                        LISTEN      8831/xinetd

4 rsync命令參數詳解

查看參數最好的方法就是去查看幫助信息:

rsync --help

4.1 常用參數

-v, –verbose詳細模式輸出。

-a, –archive歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性不變。

-l 保留軟鏈接

-R 保留相對路徑

-H 保留硬鏈接

-p,-o,-g,-A  分別保留權限,屬主,屬組,acl等,但如果加了-a,這些就都包括了

-z, –compress對備份的文件在傳輸時進行壓縮處理。

-D    等于--devices  --specials    表示支持b,c,s,p類型的文件

–delete:刪除那些DST中存在而在SRC中沒有的文件。

4.2 普通應用

rsync -av  /home/    /backup/                           --本機上的同步,把/home目錄下的內容同步到/backup目錄下(包括隱藏文件)
rsync -av /home/ 192.168.19.248:/backup/                     --把本地的/home目錄內容,同步到遠端218的/backup目錄下,需要遠程的192.168.19.248的密碼
rsync -av 192.168.19.248:/backup/ /backup/                   --把遠端218的/backup目錄下的內容同步到本地的/backup目錄,需要遠程的192.168.19.248的密碼
rsync  -a /test/ '-e ssh -p 2222' 192.168.19.248:/test1/  --如果遠程機192.168.19.248的ssh端口不為默認的22,比如改成了2222,那么需要這樣寫

注意的問題:

同步時保留原路徑,也就是把/home同步到/backup會變成/backup/home/*再內容

--原目錄后面加不加/也影響你的同步

下面這三個有區別:

rsync -av /home/ /backup/       
--/home下的內容直接同步到/backup下
 
rsync -av  /home    /backup/
rsync -aRv  /home/    /backup/
--這兩上是/home被同步成/backup/home/*
 
# rsync -av /share/20160516 /backup/
--被同步成/backup/20160516/*
 
# rsync -aRv /share/20160516  /backup/
--被同步成/backup/share/20160516/*
 
如果源目錄有文件被刪除了,那同步的目標目錄是刪除還是不刪除,是否可以用參數來控制?
--delete
# rsync  -aHAX --delete /test/ /test1/        --比較完整的一個寫法
擴展file extended attributes
# lsattr /etc/shadow        --列出文件屬性
-------------e- /etc/shadow
# chattr +i /etc/shadow        --對這個文件加一個i屬性(i屬性表示文件完全不可變,不可刪),會讓所有用戶不能修改密碼
# lsattr /etc/shadow
----i--------e- /etc/shadow
# chattr -i /etc/shadow        --去掉i屬性

5 配置rsync

5.1rsync被同步端配置

兩個文件:rsyncd.conf rsyncd.password

字面上看,一個是主配置文件,一個是存放認證用戶密碼的。安裝完成rsync時,不會生成這個兩個配置文件,需要手工創建。cat /etc/rsyncd.conf --此文件不存在,需要手動建立(man rsyncd.conf參考幫助),路徑必須是/etc/rsyncd.conf

motd file=/etc/rsyncd.welcome  --歡迎文件,路徑自定義
uid = root
gid = root
user chroot = no
max connections = 200
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/run/rsyncd.log
 
[backup]       -共享給客戶端看到的名字,名字自定義
path = /backup/  --實際共享的服務器路徑,名字必須是你要共享的實際路徑
ignore errors
read only = no
list = no
hosts allow = 192.168.19.0/255.255.255.0
auth users = test
secrets file = /etc/rsyncd.password
 
[www]
path = /www/
ignore errors
read only = no
list = no
hosts allow = 192.168.19.0/255.255.255.0
auth users = apache
secrets file = /etc/rsyncd.password
vim /etc/rsyncd.welcome--手動建立自己定義的motd文件,并寫上自定義的歡迎信息
rsyncd.password的配置
echo “test:test”>>/etc/rsyncd.password
echo “apache:apache”>>/etc/rsyncd.password
cat /etc/rsyncd.password

注意:該密碼文件中的用戶和密碼可以進行自定義,同時該用戶不一定要在服務器中的系統用戶存在。

密碼文件創建完畢后,要把其權限要設置為600,否則會在以后同步時提示驗證出錯。如下:

chmod 600 /etc/rsyncd.password

以上兩個文件創建完畢后,我們來創建其對應的目錄并授權,如下:

mkdir /{backup,www}
chown root:root –R /backup/
chown root:root –R /www/

5.2同步端配置

不需要啟動rsync服務,創建密碼文件即可。

echo “apache”>>/etc/rsyncd.password

chmod 600 /etc/rsyncd.password

注意:該密碼文件中只能存放一個用戶的密碼,并且該文件與rsync服務器端的密碼文件一樣也需要把其權限設置為600。


5.3 驗證

# rsync -a 10.1.1.9::--直接這樣可以查看10.1.1.9這個服務器共享了哪些
        "hello today! @_@"--這就是你rsyncd.welcome里寫的歡迎內容
notes                   --這就是共享的名字
# rsync -a 10.1.1.9::notes /notes/

--這樣同步,是不需要密碼的;注意notes為共享名,前面有兩個:: 后面/notes為本地目錄

--沒有密碼有好處也有壞處,好處是不需要密碼方便寫腳本做遠程同步。如果要密碼寫腳本就要用到expect自動應答。壞處就是不安全,但你可以使用iptables等來加強安全。

--如果你希望有密碼,也不用傳密碼的話,可以用rsyncd本身自帶的secrets file來做驗證的用戶

5.4 同步出現的問題

如果同步報permission denied這種,可能是服務端selinux沒有關閉

關閉selinux的方法:

# setenforce 0    --這是馬上把selinux由強制模式改成警告模式

# vim /etc/selinux/config

SELINUX=disabled--把這個改成disabled,然后需要重啟電腦才能生效

同步時間慢

解決方法:綁定對方主機名

5.5在上面的基礎上加上一些功能

要求:

把日志記錄到/var/log/rsyncd.log

共享模塊要求隱藏(也就是說客戶端查看不到這個模塊名)  

并且同時只能1個客戶端連接進行同步這個module

只能允許192.168.19.x(ip你自定義)同步這個module

只能早上9點到下午6點同步

實現:

方法1:在/etc/xinetd.d/rsync 加上參數log_type file /var/log/rsyncd.log;

方法2:在/etc/xinetd.d/rsync 加上參數log_type syslog local5;

方法3:在/etc/rsyncd.conf加上參數 log file=/var/log/rsyncd.log;

方法4:在/etc/rsyncd.conf加上參數syslog facility=local5;   --但這一句在rhel6.5經測試,必須要放在global配置里,放到modules配置里不能產生日志

--方法2和4還需要在/etc/rsyslog.conf里加上local5.*  /var/log/rsyncd.log

# vim /etc/rsyncd.conf
motd file=/etc/rsyncd.welcome
[notes]
path=/share/20160516
list=false
max connections=1
log file=/var/log/rsyncd.log
hosts allow=192.168.19.x   
 
# vim /etc/xinetd.d/rsync
access_times = 9:00-18:00
# /etc/init.d/xinetd restart

6 rsync的啟動與關閉

6.1啟動服務

源碼包安裝的rsync,使用rsync-daemon來啟動rsync。

echo PATH=$PATH:/usr/local/bin/>>/etc/profile
source /etc/profile
rsync –daemon   #啟動命令
ps aux |grep rsync
netstat -tunlp |grep 873

如果配置不在默認位置需要手動加載 rsync –daemon –config=/etc/rsyncd.conf

如果加載可以查看幫助文檔: rsync –daemon –help

rpm的加入到xinetd中,直接啟動xinetd即可

6.2關閉服務

源碼 pkill rsync

rpm /etc/init.d/xinetd stop

實現實時同步(也就是源一變化,它就會觸發同步)


7 inotify

7.1 inotify是什么

inotify是一種強大的、細粒度的、異步的文件系統事件監控機制。

 通過inotify可以監控文件系統中的添加、刪除、修改、移 動等各種細微事件。利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣一個第三方軟件。rsync同步數據的實時性問題剛好有inotify得到彌補

7.2 inotify相關參數解析

inotify定義了三個接口參數,可以用來限制inotify消耗kernel memory的大小。

這些參數是內存參數,可以根據需求實時調節大小

/proc/sys/fs/inotify/max_queued_evnets

表示請求events數的最大值,超出這個值的事件將被丟棄。該值默認為16384。 

注意:max_queued_events是inotify管理的隊列的最大長度,文件系統變化越頻繁,這個值就應該越大。

如果你在日志中看到Event Queue Overflow,說明max_queued_events太小需要調整參數后再次使用。

 

/proc/sys/fs/inotify/max_user_instances

表示每個user可創建的instances數量上限。該值默認為128。

 

/proc/sys/fs/inotify/max_user_watches

表示可監控目錄的最大數。該值默認為8192。

要修改以上默認值,我們可以使用以下類似手段修改。如下:

echo 30000000>/proc/sys/fs/inotify/max_user_watches

8 inotify監控文件事件類型

inotify可監控的文件系統事件類型,如下:

IN_ACCESS:文件被訪問。

IN_MODIFY:文件被write。

IN_ATTRIB:文件屬性被修改,如chmod、chown等。

IN_CLOSE_WRITE:可寫文件被close。

IN_CLOSE_NOWRITE:不可寫文件被close。

IN_OPEN:文件被open。

IN_MOVED_FROM:文件被移出被監控目錄,如mv。

IN_MOVED_TO:文件被移入被監控目錄,如mv、cp。

IN_CREATE:文件/文件夾被創建。

IN_DELETE:文件/文件夾被刪除,如rm。

IN_DELETE_SELF:自刪除,即一個可執行文件在執行時刪除自己。

IN_MOVE_SELF:自移動,即一個可執行文件在執行時移動自己。

IN_UNMOUNT:宿主文件系統被umount。

IN_CLOSE:文件被關閉,等同于(IN_CLOSE_WRITE|IN_CLOSE_NOWRITE)。

IN_MOVE:文件被移動,等同于(IN_MOVED_FROM|IN_MOVED_TO)。

注意:上面所說的文件也包括目錄。

9 inotify-tools是什么

inotify是一個API,需要通過開發應用程序進行調用。inotify-tools就是這樣的一個inotify軟件,它是一套組件,包括一個C庫和幾個命令行工具。

inotify是為替代dnotify而設計的,它克服了dnotify的缺陷,提供了更好用的,更簡潔而強大的文件變化通知機制。

1)inotify不需要對被監視的目標打開文件描述符,如果被監視目標在可移動介質上,那么在umount該介質上的文件系統后,被監視目標對應的watch將被自動刪除,并且會產生一個umount事件。

2)inotify既可以監視文件,又可以監視目錄。

3)inotify使用系統調用而非SIGIO信號來通知文件系統事件。

4)inotify使用文件描述符作為接口,因而可以使用通常的文件I/O操作select和poll來監視文件系統的變化。

10 安裝inotify-tools

兩種方式:源碼和rpm

注意:inotify-tools主要是通過inotifywait和inotifywatch,這兩個命令進行工作。而inotifywait命令,是生產環境中使用最多的命令。


10.1 源碼包安裝

下載地址:https://github.com/rvoicilas/inotify-tools/wiki

注意:不建議使用wget下載inotify-tools,因為網站原因下載不成功,wget https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

我們可以先通過瀏覽器下載本地,然后通過rz命令上傳到服務器。

要使用rz命令,我們需要安裝lrzsz軟件,如下:

yum -y install lrzsz
tar -xf inotify-tools-3.14.tar.gz
./configure
make&&make install
ls /usr/local/bin/
# /usr/local/bin/inotifywait --help
/usr/local/bin/inotifywait: error while loading shared libraries: libinotifytools.so.0: cannot open shared object file: No such file or director 
如果報錯,找不到那個庫,這個庫實際上是在/usr/local/lib下的
解決方法 
# echo /usr/local/lib/  > /etc/ld.so.conf.d/abc.conf
# ldconfig

10.2 rpm包安裝

配置yum源

我們可以去下面這個連接下載最新的yum源,如下:

http://dl.fedoraproject.org/pub/epel/6/x86_64/
下載epel-release-6-8.noarch.rpm軟件包并安裝,如下:
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm 
rpm -ivh epel-release-6-8.noarch.rpm
yum –y install inotify-tools
rpm -ql inotify-tools
安裝完成后,會產生下面兩個命令
[root@localhost test]# ls /usr/bin/inotify*
/usr/bin/inotifywait  /usr/bin/inotifywatch

11.inotifywait使用詳解

inotifywait是一個監控等待事件,它主要用于監控文件或目錄的變化,并且可以遞歸地監控整個目錄樹。

11.1 .inotifywait命令詳解

通過inotifywait -h來查看幫助信息

-m表示始終保持事件監聽狀態。

-r表示遞歸查詢目錄。

-q表示打印出監控事件。

-e通過此參數可以指定要監控的事件。可監聽的事件,如下:

access:訪問,讀取文件。

modify:修改,文件內容被修改。

attrib:屬性,文件元數據被修改。

move:移動,對文件進行移動操作。以及重命名,對文件進行重命名。

create:創建,生成新文件

open:打開,對文件進行打開操作。

close:關閉,對文件進行關閉操作。

delete:刪除,文件被刪除。

–timefmt是指定時間的輸出格式,用于–format選項中的%T格式。

–format指定文件變化的詳細信息輸出格式。格式參數如下:

%w表示發生事件的目錄

%f表示發生事件的文件

%e表示發生的事件

%T使用由–timefmt定義的時間格式

%Xe事件以“X”分隔

11.2 inotifywait命令實例

我們要監測/home目錄下所有文件及目錄的變化情況,命令如下:

inotifywait -mrq –timefmt ‘%y/%m/%d/%H:%M’ –format ‘%T %w %f %e’ -e modify,delete,create,attrib,move,open,close,access /home/

這條命令是對/home目錄下所有文件及目錄的操作進行監控。

打開一臺機的兩個窗口,一邊建文件,一邊查看狀態看看是否會有變化

12. inotifywatch使用詳解

inotifywatch主要用于收集被監控的文件系統統計數據,包括每個inotify事件發生多少次等信息。

12.1.inotifywatch命令詳解

inotifywatch -h 查看幫助信息

inotifywatch參數說明如下:

-h:輸出幫助信息。

-v:輸出詳細信息。

@:排除不需要監視的文件,可以是相對路徑,也可以是絕對路徑。

–-fromfile:從文件讀取需要監視的文件或排除的文件,一個文件一行,排除的文件以@開頭。

-z:輸出表格的行和列,即使元素為空。

–-exclude:正則匹配需要排除的文件,大小寫敏感。

–-excludei:正則匹配需要排除的文件,忽略大小寫。

-r:監視一個目錄下的所有子目錄。

-t:設置超時時間。

-e:只監聽指定的事件。該事件與inotifywait監聽的事件類型一樣。

-a:以指定事件升序排列。

-d:以指定事件降序排列。

要求統計60秒內/home目錄下文件系統的事件,使用如下命令:

inotifywatch -v -e modify,delete,create,attrib,move,open,close,access -e modify -t 60 -r /home

打開一臺機的兩個窗口,一邊建文件,一邊查看狀態看看是否會有變化

13 inotify-tools與rsync集成

inotify-tools與rsync的集成主要是通過inotifywait命令與rsync命令集成來實現的,并且該集成主要是體現的rsync被同步端,而rsync同步端不需要太多配置。

注意:該集成的主要目的是把rsync被同步端需要備份的文件實時推送到rsync同步端上。

通過下面的實例來說明


14 應用實例

14.1 實現單向本地目錄實時同步

測試本機/test目錄里一有(增,刪,改,屬性改變),就會同步到/test1目錄

--使用下面的腳本來做

#vim /tmp/1.sh
#!/bin/bash
/usr/local/bin/inotifywait -mrq  -e modify,delete,create,attrib,move /test |while read events
do
                rsync -a --delete /test/ /test1/
                echo "`date +'%F %T'`出現事件$events" >> /var/log/rsync.log 2>&1
done
# nohup sh /tmp/1.sh  &

--使用nohup掛起到后臺執行,終端關閉,這個進程也不會被關閉

--如果你希望實現開機自動啟動,可以把此命令加到/etc/rc.local里,或者寫成shell服務腳本,讓其支持chkconfig開機自動啟動

再然后對/test進行各種操作,驗證可以實時同步到/test1

14.2 實現雙向本地目錄的實時同步

也有相關的軟件(比如unison)可以專門來做雙向的實時同步

但我們就可以用inotify反向再做一次再寫一個腳本也一樣可以簡單去實現,這里不再介紹

14.3 遠程實時同步

方法一:inotify+rsync+nfs

這個方法的思路是:

把遠程的目錄通過nfs服務掛載到本地,然后當做本地目錄一樣來使用,這樣就避免了rsync同步遠程時要輸密碼的問題

在rhel6.5測試為:使用innotify監控遠程nfs掛載的目錄再同步到本地目錄,無法成功;(在遠程機器操作,不會同步到本地。但在掛到本地的目錄操作,也會同步到本地。原因:就是inotify只能監控本機上的目錄,不能監控另外一臺機器上的目錄)

但是反過來,使用innotify監控本地目錄,再同步到遠程nfs掛載的目錄,可以成功

 

實現把10.1.1.9上的/test目錄實時同步到192.168.19.248上的/test1目錄

    10.1.1.9 /test目錄        192.168.19.248  /test1目錄

在192.168.19.248上   

# vim /etc/exports
/test1  *(rw,no_root_squash)
# /etc/init.d/rpcbind restart
# /etc/init.d/nfs  restart
在10.1.1.9上
# mkdir /test1/
# mount -t nfs -o vers=3 192.168.19.248:/test1  /test1    --用nfs3版本掛載過來,那么/test1目錄就是192.168.19.248上的遠程/test1目錄了
執行上面講的兩個本地目錄同步一樣的腳本,測試就可以了
#vim /tmp/1.sh
#!/bin/bash
/usr/local/bin/inotifywait -mrq  -e modify,delete,create,attrib,move /test |while read events
do
                rsync -a --delete /test/ /test1/
                echo "`date +'%F %T'`出現事件$events" >> /var/log/rsync.log 2>&1
done
#nohup sh /tmp/1.sh  &

測試(過程省略)但注意在測試之前把前面例子運行的腳本進程通過ps找出來,并kill掉

--擴展,如果把nfs換成samba服務,通過mount -t cifs指令把遠程samba共享目錄掛載到本地,是否可行?

方法二:使用ssh等效性(ssh密鑰登錄)讓遠程機器連接不需要密碼,就很容易使用遠程監控或同步了

在10.1.1.9上產生一對密鑰

# ssh-keygen
# scp /root/.ssh/id_rsa.pub 192.168.19.248:/root/.ssh/authorized_keys
# ssh-add /root/.ssh/id_rsa
然后實現遠程實時同步,只需要在原來的腳本基礎上把遠程目錄前加上遠程IP就可以了(因為做了ssh等效性,不需要密碼)
#!/bin/bash
/usr/local/bin/inotifywait -mrq  -e modify,delete,create,attrib,move /test |while read events
do
                rsync -a --delete /test/ 192.168.19.248:/test1/
                echo "`date +'%F %T'`出現事件events" >> /var/log/rsync.log 2>&1
done

方法三:不做上面方法二的ssh密鑰,使用expect腳本來解決密碼問題

#!/bin/bash
/usr/local/bin/inotifywait -mrq  -e modify,delete,create,move /test |while read events
do
sed -i '/^192.168.19.248/d' /root/.ssh/known_hosts
expect <<EOF &> /dev/null
spawn rsync -a --delete /test/ 192.168.19.248:/test1/
expect "no)?"
send "yes\r"
expect "password:"
send "123456\r"
expect eof
EOF
        echo "`date +'%F %T'`出現事件events" &>> /var/log/rsync.log
done

測試:要先把上面執行的腳本進程都kill掉,再重新執行這個腳本來驗證

方法四,使用rsync的secrets file的方法然后寫腳本

例:     

        本地同步端 ----->遠程被同步端

        10.1.1.9    192.168.19.248

我要實現把本地同步端10.1.1.9上的/test/目錄里的內容實時同步到遠程被同步端192.168.19.248的/test1/目錄

準備:

關閉iptables和selinux

實現過程

在遠程被同步端192.168.19.248上操作

# mkdir /test1/    --創建測試的被同步目錄
# vim /etc/rsyncd.conf
uid=root       
gid=root        --這里指定使用root身份同步到192.168.19.248,否則默認使用nobody用戶(這樣你需要把/test1/目錄改成757的權限,才有權限寫)
[testsource]
path=/test1/
ignore errors
read only=no        --服務級別給寫權限
auth users=test        --驗證的用戶取名為test(此用戶與系統用戶無關)
secrets file=/etc/rsyncd.secrets    --驗證用戶test的用戶名和密碼的存放文件,此文件需要同步端和被同步端都要有(這樣我們就可以用這種方式來進行驗證,而不需要遠程的ssh密碼驗證了)
hosts allow=10.1.1.9        --進一步加強安全,只允許10.1.1.9同步
# vim /etc/rsyncd.secrets    --創建這個密碼文件,用戶名要與上面的auth users指定的一致,密碼隨意(我這里以321來測試)
test:321
# chmod 600 /etc/rsyncd.secrets    --為了安全性,把權限改成600,只讓root讀寫(很多其它軟件的密碼文件也會要求你改成600權限)
#  yum install xinetd -y
# vim /etc/xinetd.d/rsync
      disable = no        -- disable 后面值由yes改為no
# /etc/init.d/xinetd restart    --重啟服務
# netstat -ntlup |grep :873    --驗證873端口是否啟動
tcp        0      0 :::873                      :::*                        LISTEN      50438/xinetd  
# chkconfig xinetd on    --設置開機自動啟動

在本地同步端10.1.1.9操作

先安裝inotify軟件,步驟參照上面過程,這里省略

# mkdir /test/    --創建測試的同步目錄
# vim /etc/rsyncd.secrets    --也要創建這個密碼文件,里面只寫密碼就可以了。用戶我們在后面的腳本里的命令里指定
321
# chmod 600 /etc/rsyncd.secrets  --也改成600的權限 
# vim /tmp/rsync.sh    --腳本及其內容(這里強調一下,這里是測試方便,所以才放到/tmp下,生產環境可以放到/bin這種目錄下做成一個命令) 
#!/bin/bash
/usr/local/bin/inotifywait -mrq  -e modify,delete,create,attrib,move /test |while read events
do                
            rsync -a --delete  --password-file=/etc/rsyncd.secrets /test/ test@192.168.19.248::testsource
done 
# chmod 755 /tmp/rsync.sh   --給執行權限,方便執行 
# nohup sh /tmp/rsync.sh &   --后面掛起執行 
# vim /etc/rc.local        --加到rc.local里讓其開頭自動啟動
#nohup sh /tmp/rsync.sh &

測試過程省略

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

即墨市| 乌拉特后旗| 水富县| 栾川县| 南和县| 平乡县| 蓝田县| 开封市| 榆树市| 台中县| 麟游县| 长乐市| 西宁市| 含山县| 和静县| 沂南县| 彝良县| 伊金霍洛旗| 稷山县| 云霄县| 南宁市| 兴文县| 德令哈市| 栾川县| 开江县| 荣昌县| 七台河市| 临沧市| 六盘水市| 深水埗区| 乌兰浩特市| 封丘县| 樟树市| 平山县| 门头沟区| 邢台市| 油尖旺区| 吉隆县| 勃利县| 离岛区| 兰考县|