rsync 的介绍与配置

参考文章: rsync的介绍和配置

rsync 简介

rsync 官方网站: rsync 官网

rsync 是一款开源的、快速的多功能的可以实现全量以及增量的本地或者是远程的数据同步（拷贝）备份的优秀工具。
rsync 是 linux 系统下的数据镜像备份工具。使用快速增量备份工具 Remote Sync 可以远程同步，支持本地复制，或者与其他 SSH、rsync 主机同步。

rsync 特性

rsync 支持很多特性:

• 可以镜像保存整个目录树和文件系统文件系统。
• 可以很容易做到保持原来文件的权限、时间、软硬链接等等。
• 无须特殊权限即可安装。
• 快速：第一次同步时 rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩解压缩)操作，因此可以使用更少的带宽。
• 安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
• 支持匿名传输，以方便进行网站镜像。

总结: 一个 rsync 命令相当于 scp、cp、rm 命令，但是 rsync 命令比 scp、cp、rm 命令更胜一筹。

rsync 工作方式

一般来说，rsync 大致使用三种工作方式来传输数据，分别为：

1. 本地文件系统上实现同步: 单个主机本地之间的数据传输（此时类似于cp命令的功能）
2. 本地主机使用远程 shell 和远程主机通信: 借助rcp,ssh等通道来传输数据（此时类似于 scp 命令的功能）
3. 本地主机通过网络套接字连接远程主机上的 rsync daemon: 以守护进程（socket）的方式传输数据（这个是rsync自身的重要的功能）

rsync 的认证协议

rsync命令来同步系统文件之前要先登录remote主机认证，认证过程中用到的协议有2种：

• ssh 协议
• rsync 协议

在平时使用过程，我们使用最多的是 rsync-daemon 方式

rsync 认证

rsync 在 rsync-daemon 认证方式下，默认监听 TCP 的 873 端口;
rsync-daemon 认证方式是 rsync 的主要认证方式，这个也是我们经常使用的认证方式；并且也只有在此种模式下，rsync 才可以把密码写入到一个文件中。

注意: rsync-daemon 认证方式，需要服务器和客户端都安装 rsync 服务，并且只需要 rsync 服务器端启动 rsync，同时配置 rsync 的配置文件。客户端启动不启动 rsync 服务，都不影响同步的正常进行。

ssh 认证

rsync 在 ssh 认证方式下，可通过系统用户进行认证，即在 rsync 上通过 ssh 隧道进行传输，类似于 scp 工具；此时同步操作不在局限于 rsync 中定义的同步文件夹；并且不需要用 873 端口进行传输。

注意: ssh 认证方式，不需要服务器和客户端配置 rsync 配置文件，只需要双方都安装 rsync 服务，并且也不需要双方启动 rsync。ssh 认证协议跟 scp 的原理是一样的，如果在同步过程中不想输入密码就用 ssh-keygen -t rsa 配置免密登录

# 生成 ssh 秘钥
ssh-keygen -t rsa

# 拷贝公钥到远程主机
ssh-copy-id -P${port} -i ~/.ssh/id_rsa.pub ${user}@${host}

rsync 命令

1. 安装 rsync 命令

   yum -y install rsync

2. rsync 命令格式

   # Rsync 的命令格式常用的有以下三种：
   rsync [OPTION]... SRC DEST
   rsync [OPTION]... SRC [USER@]HOST:DEST
   rsync [OPTION]... [USER@]HOST:SRC DEST
   
   # 对应于以上三种命令格式，rsync 有三种不同的工作模式：
   1. 拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号 ":" 分隔符时就启动这种工作模式.
   #命令示例
   [root@localhost ~]# rsync -avz abc /opt/123
   
   2. 使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当 DST 路径地址包含单个冒号 ":" 分隔符时启动该模式。
   #命令示例
   [root@localhost ~]# ssh root@192.168.110.10 'ls -l /root'
   
   3. 使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当 SRC 地址路径包含单个冒号 ":" 分隔符时启动该模式。
   #命令示例
   [root@localhost ~]# rsync -avz root@192.168.110.13:/etc/yum.repos.d /root/

3. rsync 命令参数详情

   -v, --verbose         详细模式输出
   -q, --quiet           精简输出模式
   -c, --checksum        打开校验开关，强制对文件传输进行校验
   -a, --archive         归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
   -r, --recursive       对子目录以递归模式处理
   -R, --relative        使用相对路径信息
   -b, --backup          创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
   --backup-dir          将备份文件(如~filename)存放在在目录下。
   -suffix=SUFFIX        定义备份文件前缀
   -u, --update          仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
   -l, --links           保留软链结
   -L, --copy-links      像对待常规文件一样处理软链接
   --copy-unsafe-links   仅仅拷贝指向SRC路径目录树以外的链接
   --safe-links          忽略指向SRC路径目录树以外的链接
   -H, --hard-links      保留硬链接
   -p, --perms           保持文件权限
   -o, --owner           保持文件属主信息
   -g, --group           保持文件属组信息
   -D, --devices         保持设备文件信息
   -t, --times           保持文件时间信息
   -S, --sparse          对稀疏文件进行特殊处理以节省DST的空间
   -n, --dry-run         显示哪些文件将被传输
   -W, --whole-file      拷贝文件，不进行增量检测
   -x, --one-file-system 不要跨越文件系统边界
   -B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
   -e, --rsh=COMMAND     指定使用rsh、ssh方式进行数据同步
   --rsync-path=PATH     指定远程服务器上的rsync命令所在路径信息
   -C, --cvs-exclude     使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
   --existing            仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
   --delete              删除那些DST中SRC没有的文件
   --delete-excluded     同样删除接收端那些被该选项指定排除的文件
   --delete-after        传输结束以后再删除
   --ignore-errors       即使出现IO错误也进行删除
   --max-delete=NUM      最多删除NUM个文件
   --partial             保留那些因故没有完全传输的文件，以是加快随后的再次传输
   --force               强制删除目录，即使不为空
   --numeric-ids         不将数字的用户和组ID匹配为用户名和组名
   --timeout=TIME        IP超时时间，单位为秒
   -I, --ignore-times    不跳过那些有同样的时间和长度的文件
   --size-only           当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
   --modify-window=NUM   决定文件是否时间相同时使用的时间戳窗口，默认为0
   -T --temp-dir=DIR     在DIR中创建临时文件
   --compare-dest=DIR    同样比较DIR中的文件来决定是否需要备份
   -P                    等同于 --partial
   --progress            显示备份过程
   -z, --compress        对备份的文件在传输时进行压缩处理
   --exclude=PATTERN     指定排除不需要传输的文件模式
   --include=PATTERN     指定不排除而需要传输的文件模式
   --exclude-from=FILE   排除FILE中指定模式的文件
   --include-from=FILE   不排除FILE指定模式匹配的文件
   --version             打印版本信息
   --address             绑定到特定的地址
   --config=FILE         指定其他的配置文件，不使用默认的rsyncd.conf文件
   --port=PORT           指定其他的rsync服务端口
   --blocking-io         对远程shell使用阻塞IO
   -stats                给出某些文件的传输状态
   --progress            在传输时显示传输过程
   --log-format=formAT   指定日志文件格式
   --password-file=FILE  从FILE中得到密码
   --bwlimit=KBPS        限制I/O带宽，KBytes per second
   -h, --help            显示帮助信息

rsync 配置

rsync使用方式有三种：

• 模式一：local 本地模式
• 模式二：Access via remote shell 通过远程shell访问
• 模式三：daemon 守护进程模式

本地模式

本地模式直接使用命令就可以了

1. 命令格式:

   rsync [OPTION…] SRC… [DEST]

通过远程 shell 访问

这种模式一般就是本地通过远程 shell 命令进行推送和拉取

1. 命令格式

   #拉取pull：
   rsync [OPTION…] [USER@]HOST:SRC… [DEST]
   
   #推送push：
   rsync [OPTION…] SRC… [USER@]HOST:DEST

   注意: 访问端和被访问端都需要安装 rsync 命令
   说明: 在传递文件的时候，会首先对比源和目的下的文件的特征码，只有当特征码不同的时，才会进行传递。
   重点说明！！！：工作中通常都是用rsync+ssh密钥认证方式，目的是为了用免密码登录

守护进程模式

守护进程模式可以进行异地实时同步；与上面前两种模式对比，就要复杂很多了，但是功能也更加强大；

注意: 这种模式需要在源服务器端安装应用：rsync+inotify-tools 工具；目标服务器端安装 rsync 即可。

守护进程模式配置步骤

目标服务器配置

1. 创建配置文件 rsync.conf（默认不存在）, 让其工作在守护进程模式

   # rsyncd.conf配置文件说明：
   
   log file = /var/log/rsyncd.log    # 日志文件位置，启动rsync后自动产生这个文件，无需提前创建
   pidfile = /var/run/rsyncd.pid     # pid文件的存放位置
   lock file = /var/run/rsync.lock   # 支持max connections参数的锁文件
   secrets file = /etc/rsync.pass    # 用户认证配置文件，里面保存用户名称和密码，必须手动创建这个文件
   
   [etc_from_client]     # 自定义同步名称
   path = /tmp/          # rsync 目标服务器数据存放路径，源服务器的数据将同步至此目录
   comment = sync etc from client
   uid = root            # 设置rsync运行权限为root
   gid = root            # 设置rsync运行权限为root
   port = 873            # 默认端口
   ignore errors         # 表示出现错误忽略错误
   use chroot = no       # 默认为true，修改为no，增加对目录文件软连接的备份
   read only = no        # 设置rsync源服务器为读写权限
   list = no             # 不显示rsync源服务器资源列表
   max connections = 200 # 最大连接数
   timeout = 600         # 设置超时时间
   auth users = admin    # 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
   hosts allow = 192.168.110.12      # 允许进行数据同步的源服务器IP地址，可以设置多个，用英文状态下逗号隔开
   hosts deny = 192.168.110.11       # 禁止数据同步的源服务器IP地址，可以设置多个，用英文状态下逗号隔开

   注意：hosts allow 跟 hosts deny

   • 两个参数都没有的时候，那么所有用户都可以任意访问
   • 只有allow，那么仅仅允许白名单中的用户可以访问模块
   • 只有deny，那么仅仅黑名单中的用户禁止访问模块
   • 两个参数都存在，会优先检查白名单
   • 如果匹配成功，则允许访问
   • 如果匹配失败，就去检查黑名单，如果匹配成功则禁止访问
   • 如果都没有匹配成功，则允许访问

2. 创建密码文件，修改权限为600

3. 创建系统用户

4. 创建模块对应的目录，修改目录的属主属组为系统用户

5. 启动daemon模式

   #手动启动
   rsync --daemon
   #查看873端口起来没
   ss -anl
   
   #开机自启
   echo 'OPTIONS=""' > /etc/sysconfig/rsyncd
   
   cat > /usr/lib/systemd/system/rsyncd.service <<EOF
   [Unit]
   Description=fast remote file copy program daemon
   ConditionPathExists=/etc/rsyncd.conf
   
   [Service]
   EnvironmentFile=/etc/sysconfig/rsyncd
   ExecStart=/usr/bin/rsync --daemon --no-detach "\$OPTIONS"
   
   [Install]
   WantedBy=multi-user.target
   EOF

源服务器器配置

1. 安装 rsync 服务端软件，只需要安装，不要启动，不需要配置
2. 创建认证密码文件
3. 设置密码文件权限，只设置文件所有者具有读取、写入权限即可
4. 在源服务器上创建测试目录，然后在源服务器运行以下命令

手动同步方式

# --delete 删除那些DST中SRC没有的文件
rsync -avH \
  --port 873 \
  --progress \
  --delete \
  /root/etc/ \
  admin@192.168.110.10::etc_from_client \
  --password-file=/etc/rsync.pass

实时同步方式

1. 安装 inotify-tools 工具，实时触发 rsync 进行同步

   yum -y install inotify-tools

2. 查看服务器内核是否支持 inotify，如果有这三个 max 开头的文件则表示服务器内核支持 inotify

   [root@localhost ~]# ll /proc/sys/fs/inotify/
   total 0
   -rw-r--r--. 1 root root 0 May 11 16:15 max_queued_events
   -rw-r--r--. 1 root root 0 May 11 16:15 max_user_instances
   -rw-r--r--. 1 root root 0 May 11 16:15 max_user_watches

3. 写同步脚本，此步乃最最重要的一步，请慎之又慎

   [root@localhost ~]# mkdir /scripts
   [root@localhost ~]# touch /scripts/inotify.sh
   [root@localhost ~]# chmod 755 /scripts/inotify.sh
   [root@localhost ~]# ll /scripts/inotify.sh
   -rwxr-xr-x 1 root root 0 Aug 10 13:02 /scripts/inotify.sh
   [root@localhost ~]# vim /scripts/inotify.sh
   host=192.168.110.10             # 目标服务器的ip(备份服务器)
   src=/etc                        # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在）
   des=etc_from_client             # 自定义的模块名，需要与目标服务器上定义的同步名称一致
   password=/etc/rsync.pass        # 执行数据同步的密码文件
   user=admin                      # 执行数据同步的用户名
   inotifywait=/usr/bin/inotifywait
   
   $inotifywait -mrq \
     --timefmt '%Y%m%d %H:%M' \
     --format '%T %w%f%e' \
     -e modify,delete,create,attrib \
     $src \
     | while read files;do
           rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
           echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
       done

4. 启动脚本

   [root@localhost ~]# nohup bash /scripts/inotify.sh &
   [1] 86871
   [root@localhost ~]# nohup: ignoring input and appending output to ‘nohup.out’

5. 测试：在源服务器上生成一个新文件

6. 查看 inotify 生成的日志