當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Rsync + Sersync 实现数据增量同步

發(fā)布時間：2025/3/21 编程问答 27 豆豆

生活随笔收集整理的這篇文章主要介紹了 Rsync + Sersync 实现数据增量同步小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

部分引用自：https://blog.csdn.net/tmchongye/article/details/68956808

一、什么是Rsync？

　　Rsync（Remote Synchronize）是一款開源的、快速的、多功能的、可以實現(xiàn)全量及增量的本地或遠程數(shù)據(jù)同步備份的優(yōu)秀工具，并且支持多種操作系統(tǒng)平臺運行。

　　官網文檔：https://rsync.samba.org/ftp/rsync/rsync.html

二、Rsync簡介

　　1、Rsync具有本地與遠程兩臺主機之間的數(shù)據(jù)快速復制同步鏡像、遠程備份等功能，該功能類似scp，但是優(yōu)于scp功能，還具有本地不同分區(qū)目錄之間全量及增量復制數(shù)據(jù)。

　　2、Rsync同步數(shù)據(jù)鏡像時，通過“quick check”算法，僅同步大小或最后修改時間發(fā)生變化的文件或目錄，當然也可以根據(jù)權限，屬主等屬性變化的同步，所以可以實現(xiàn)快速同步。

　　3、rsync 具有如下的基本特性：

　　　　a、可以鏡像保存整個目錄樹和文件系統(tǒng)

　　　　b、可以很容易做到保持原來文件的權限、時間、軟硬鏈接等

　　　　c、無須特殊權限即可安裝

　　　　d、優(yōu)化的流程，文件傳輸效率高

　　　　e、可以使用 rsh、ssh 方式來傳輸文件，當然也可以通過直接的 socket 連接

　　　　f、支持匿名傳輸，以方便進行網站鏡象

三、Rsync命令格式

　　1、本地: ?rsync [OPTION...] SRC... [DEST]?

　　2、通過shell遠程訪問: ?

　　　　?拉取: rsync [OPTION...] [USER@]HOST:SRC... [DEST] ?

　　　　?推送: rsync [OPTION...] SRC... [USER@]HOST:DEST?

　　3、通過rsync守護進程訪問: ?

　　　　?拉取: rsync [OPTION...] [USER@]HOST::SRC... [DEST]? ? ? ? ??

　　　　　　rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]??

　　　　?推送: rsync [OPTION...] SRC... [USER@]HOST::DEST? ? ? ? ??

　　　　　　rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

四、什么Sersync？

　　1、sersync是基于inotify開發(fā)的，類似于inotify-tools的工具，Sersync可以記錄下被監(jiān)聽目錄中發(fā)生變化的（包括增加、刪除、修改）具體某一個文件或者某一個目錄的名字，然后使用rsync同步的時候，只同步發(fā)生變化的文件或者目錄，因此效率更高。

　　2、主要應用場景為數(shù)據(jù)體積大，并且文件很多。

　　3、網站：https://code.google.com（需要FQ）

五、測試環(huán)境

　　主機1：192.168.30.41　　操作系統(tǒng)：Centos7.5　　角色:sync server

　　主機2：192.168.30.42　　操作系統(tǒng)：Centos7.5　　角色:sync client，sersync 端

六、主機1編譯安裝Rsync

　　1、首先卸載本機rsync

　　　　yum remove -y?rsync

　　2、下載軟件并上傳(需FQ)

　　　　wget https://download.samba.org/pub/rsync/rsync-3.1.3.tar.gz

　　3、解壓包并編譯

　　　　mkdir -p /application/rsync

　　　　tar -zxvf /application/rsync-3.1.3.tar.gz

　　　　cd /application/rsync-3.1.3

　　　　./configure --prefix=/application/sync

　　　　make && make install

　　　　rm -rf? /application/rsync-3.1.3.tar.gz? ?/application/rsync-3.1.3

　　4、配置環(huán)境變量和建立軟連接

　　　　vim?/etc/profile.d/rsync.sh 添加　　

　　　　　　#!/bin/sh
　　　　　　export PATH=$PATH:/application/rsync/bin

?　　　　ln -s?/application/rsync/bin/rsync /usr/local/bin/

　　5.查看當前版本

　　　　?rsync --version

　　6、創(chuàng)建相應文件夾

　　　　mkdir -p /application/rsync/{conf,data,logs,passwd}

　　7、編輯相應配置文件

　　　　a、vim?/application/rsync/conf/rsyncd.conf 添加如下內容

uid = rsync gid = rsync port = 873 use chroot = on max connections = 200 timeout = 120 pid file = /application/rsync/logs/rsyncd.pid lock file = /application/rsync/logs/rsyncd.lock log file = /application/rsync/logs/rsyncd.log[bakup] ignore errors path = /application/rsync/data read only = false list = false #hosts allow = all #host deny = 0.0.0.0/32 auth users = rsync_bakup secrets file = /application/rsync/passwd/rsyncd.password

　　　　b、創(chuàng)建密碼文件

　　　　　　echo "rsync_bakup:123456"??/application/rsync/passwd/rsyncd.password? ?#密碼文件中格式為賬號:密碼，賬號為配置文件中對應模塊的auth users項中的賬號。

　　　　c、修改密碼文件權限

　　　　　　chmod 600?/application/rsync/passwd/rsyncd.password

　　　　d、修改數(shù)據(jù)目錄文件權限

　　　　　　chown rsync:rsync?/application/rsync/data

　　8、啟動服務

　　　　/application/rsync/bin/rsync --daemon --config /application/rsync/conf/rsyncd.conf

　　　　查看服務是否啟動

七、主機2安裝rsync客戶端

　　1、yum install -y rsync即可

　　2、編輯密碼文件并給相應的權限

　　　　echo "123456"?/etc/rsyncd.password　　#文件中寫入鏈接rsync server賬號rsync_bakup的密碼即可。

　　　　chmod 600?/etc/rsyncd.password

　　3、向服務端推送數(shù)據(jù)

　　　　touch test.txt? #文件所有用戶需要有讀權限才可以推送

　　　　rsync -avzP test.txt? rsync_bakup@192.168.30.41::bakup --password-file=/etc/rsyncd.password

　　4、從服務端拉取數(shù)據(jù)

?　　　　rsync -avzP rsync_bakup@192.168.30.41::bakup? /tmp --password-file=/etc/rsyncd.password

八、主機2安裝Sersync

　　1、下載

　　　　wget? https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

　　2、解壓并將對應文件拷貝至對應文件夾

　　　　mkdir -p?/application/sersync/{bin,conf,logs}

　　　　tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

　　　　mv ?GNU-Linux-x86/sersync2?/application/sersync/bin

　　　　mv ?GNU-Linux-x86/confxml.xml??/application/sersync/conf

　　3、配置環(huán)境變量

　　　　vim ?/etc/profile.d/sersync.sh

　　　　添加內容

　　　　　　#!/bin/sh
　　　　　　export PATH=$PATH:/application/sersync/bin

　　　　source?/etc/profile.d/sersync.sh

　　4、備份配置文件然后修改

　　　　cp /application/sersync/conf/confxml.xml? /application/sersync/conf/confxml.xmlbk

　　　　vim? /application/sersync/conf/confxml.xml修改成如下內容

<?xml version="1.0" encoding="ISO-8859-1"?> <head version="2.5"># 設置本地IP和端口<host hostip="localhost" port="8008"></host># 開啟DUBUG模式 <debug start="false"/># 開啟xfs文件系統(tǒng) <fileSystem xfs="false"/># 同步時忽略推送的文件(正則表達式),默認關閉 <filter start="false"><exclude expression="(.*)\.svn"></exclude><exclude expression="(.*)\.gz"></exclude><exclude expression="^info/*"></exclude><exclude expression="^static/*"></exclude></filter># 設置要監(jiān)控的事件 <inotify><delete start="true"/><createFolder start="true"/><createFile start="true"/><closeWrite start="true"/><moveFrom start="true"/><moveTo start="true"/><attrib start="false"/><modify start="false"/></inotify><sersync># 本地監(jiān)視目錄路徑 <localpath watch="/application/rsync/data">#定義同步Server ip和模塊 <remote ip="192.168.30.41" name="bakup"/></localpath><rsync># rsync指令參數(shù) <commonParams params="-artuz"/># rsync同步認證 <auth start="true" users="rsync_bakup" passwordfile="/etc/rsyncd.password"/># 設置rsync遠程服務端口，非默認端口需要打開自定義(若開啟rsync+ssh, 則這里需定義SSH端口) <userDefinedPort start="false" port="874"/># 設置超時時間 <timeout start="false" time="100"/># 設置rsync+ssh加密傳輸模式,默認關閉，開啟需設置SSH加密證書 <ssh start="false"/></rsync># sersync傳輸失敗日志腳本路徑，每隔60會重新執(zhí)行該腳本，執(zhí)行完畢會自動清空。 <failLog path="/application/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/># 設置rsync定時傳輸，默認關閉 <crontab start="false" schedule="600"><crontabfilter start="false"><exclude expression="*.php"></exclude><exclude expression="info/*"></exclude></crontabfilter></crontab># 設置sersync傳輸后調用name指定的插件腳本，默認關閉 <plugin start="false" name="command"/></sersync># 插件腳本范例 <plugin name="command"><param prefix="/bin/sh" suffix="" ignoreError="true"/> <filter start="false"><include expression="(.*)\.php"/><include expression="(.*)\.sh"/></filter></plugin># 插件腳本范例<plugin name="socket"><localpath watch="/opt/tongbu"><deshost ip="192.168.138.20" port="8009"/></localpath></plugin><plugin name="refreshCDN"><localpath watch="/data0/htdocs/cms.xoyo.com/site/"><cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/><sendurl base="http://pic.xoyo.com/cms"/><regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/></localpath></plugin> </head>

　　5、啟動

　　　　/application/sersync/bin/sersync2 -d -r -o /application/sersync/conf/confxml.xml

　　6、測試

　　　　cd /application/rsync/data?

　　　　for f in `seq 10`;do touch $f;done

　　　　完成后查看服務端對應模塊路徑下是否有相應文件，若同步表示成功。

轉載于:https://www.cnblogs.com/Presley-lpc/p/10156745.html

總結

以上是生活随笔為你收集整理的Rsync + Sersync 实现数据增量同步的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： div拖拽效果
下一篇： CF788B Weird journey