rsync远程增量备份方案
概述
适用于数据不是很敏感，海量小文件的存储备份，结合服务器本身的磁盘阵列技术，可以有效增强数据的安全性。
环境
主服务端：系统 AS4 ，rsyncrsync-2.6.9，SZRNDB01
客户端：系统 AS4 ，rsyncrsync-2.6.9， SZRNAPP01
实施步骤
包含rsync安装，参数设置，服务启动，编辑crontab任务。
rsync安装
采用源码包安装，上传安装包到服务器。
1. tar –zxvfrsyncrsync-2.6.9.tar.gz #解压
2. cd rsyncrsync-2.6.9
3. ./configure #默认配置，生成编译环境
4. make #编译
5．make install #安装完成，任何步骤有疑问输入echo$？查返回值，0表示成功，其他都为失败。
参数设置
服务端
1. vi /etc/rsyncd.conf
uid = nobody
gid = nobody
use chroot = no #默认是yes（需root运行rsync）额外的安全保护。
max connections = 0 #默认连接数不限制
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log #日志文件。
[bak] #客户端同步时会用到。
path = /realfiles #欲备份的文件夹。
auth users = backup #rsync连接的帐号，和系统帐号没关系。
uid =root #可以用其他用户。
gid =root
ignore errors #以防止因为暂时的资源不足或其它IO错误导致的严重问题。
secrets file = /etc/rsyncd.pass #内容格式为id：passwd
read only = yes #只读
2.vi /etc/rsyncd.pass内容如下backup：password
3.chmod 600 /etc/rsyncd.pass #此步省略会导致rsync无法启动。
4.运行rsync--daemon，并在/etc/rc.d/rc.local加入此语句，一边开机就启动，也可用crontab实现(推荐)。
备注：rsync默认端口873，如需改动启动时启动rsync –port 8730，请在iptables 中开放该端口，语句如下：
iptables -I INPUT -p tcp --dport 873 -j ACCEPT
默认采用socket连接，也可以采用ssh连接rsync -e 'ssh -p 2002'
客户端
1.安装rsync，参考服务端安装
2.复制配置文件到客户端/etc/目录
scp –P 2022 root@/etc/rsyncd.conf /etc/
3.vi /etc/rsyncd.pss内容写sunlike，只需填入rsyncd.pass密码即可
4.rsync -vrtopg --delete backup@10.0.0.11：：bak /realfiles–password-file
=/etc/rsyncd.pass，其中-delete是为了保证如果服务端如果删除了某些文件客户端会同步删除；--delete前也可以加入--progress显示传输过程，--password-file为了不用输入密码，方便crontab调用。
crontab创建例行任务
可以用crontab每天，或者每周对文件服务器进行异地增量备份。
1. crontab –e，进入任务编辑模式，样例如下：
59 03 * * * rsync -vrtopg -2delete backup@10.0.0.10：：bak/realfiles –password-file=/etc/rsyncd.pass。
每天的4点开始备份，crontab时间格式为：
分 小时 天 月 周
参数备选
rsyncd.conf参数
uid
该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是“nobody”。
gid
该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为“nobody”。
exlude
用来指定多个由空格隔开的多个模式列表，并将其添加到exclude列表中。这等同于在客户端命令中使用--exclude来指定模式，不过配置文件中指定的exlude模式不会传递给客户端，而仅仅应用于服务器。一个模块只能指定一个exlude选项，但是可以在模式前面使用“-”和“+”来指定是 exclude还是include。
但是需要注意的一点是该选项有一定的安全性问题，客户很有可能绕过exlude列表，如果希望确保特定的文件不能被访问，那就最好结合uid/gid选项一起使用。
exlude from
指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exlude列表定义。
include
用来指定多个由空格隔开的多个rsync并应该exlude的模式列表。这等同于在客户端命令中使用--include来指定模式，结合include 和exlude可以定义复杂的exlude/include规则。一个模块只能指定一个include选项，但是可以在模式前面使用“-”和“+”来指定是exclude还是include。
include from
指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。
auth users
该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果“authusers”被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在“secretsfile”选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
secrets file
该选项指定一个包含定义用户名：密码对的文件。只有在“authusers”被定义时，该文件才有作用。文件每行包含一个 username：passwd对。一般来说密码最好不要超过8个字符。没有默认的securesfile名，需要限式指定一个。(例如：/etc /rsyncd.secrets)
strict modes
该选项指定是否监测密码文件的权限，如果该选项值为true那么密码文件只能被rsync服务器运行身份的用户访问，其他任何用户不可以访问该文件。默认值为true。
hosts allow
该选项指定哪些IP的客户允许连接该模块。客户模式定义可以是以下形式：
o xxx.xxx.xxx.xxx，客户主机只有完全匹配该IP才允许访问。例如：192.167.0.1
o a.b.c.d/n，属于该网络的客户都允许连接该模块。例如：192.168.0.0/24
o a.b.c.d/e.f.g.h，属于该网络的客户都允许连接该模块。例如：192.168.0.0/255.255.255.0
o 一个主机名，客户主机只有拥有该主机名才允许访问，例如：backup.linuxaid.com.cn。
o *.linuxaid.com.cn，所有属于该域的主机都允许。
默认是允许所有主机连接。
hosts deny
指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。
ignore errors
指定rsyncd在判断是否运行传输时的删除操作时忽略server上的IP错误，一般来说rsync在出现IO错误时将将跳过--delete操作，以防止因为暂时的资源不足或其它IO错误导致的严重问题。
ignore nonreadable
指定rysnc服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些文件是不应该被备份者得到的情况是有意义的。
客户端同步命令
v， --verbose 详细模式输出
-q， --quiet 精简输出模式
-c， --checksum 打开校验开关，强制对文件传输进行校验
-a， --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r， --recursive 对子目录以递归模式处理
-R， --relative 使用相对路径信息
rsync foo/bar/foo.c remote：/tmp/
则在/tmp目录下创建foo.c文件，而如果使用-R参数：
rsync -R foo/bar/foo.c remote：/tmp/
则会创建文件/tmp/foo/bar/foo.c，也就是会保持完全路径信息。
-b， --backup创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u， --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l， --links 保留软链结
-L， --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H， --hard-links 保留硬链结
-p， --perms 保持文件权限
-o， --owner 保持文件属主信息
-g， --group 保持文件属组信息
-D， --devices 保持设备文件信息
-t， --times 保持文件时间信息
-S， --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n， --dry-run现实哪些文件将被传输
-W， --whole-file 拷贝文件，不进行增量检测
-x， --one-file-system 不要跨越文件系统边界
-B， --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e， --rsh=COMMAND 指定替代rsh的shell程序
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C， --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I， --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z， --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h， --help 显示帮助信息
目录 返回
首页