用rsync同步目录

发表于 更新于 分类于 Valine： 本文字数： 4k 阅读时长 ≈ 4 分钟

rsync可以用在两个目录间同步文件，无论是相同主机或不同主机间。

rsync命令格式

1
rsync -av --delete --exclude-from=exclude.lst --stop-after=240 源路径/ 目标路径/

其中-av是多个选项的缩写，表示递归的进行、不改变文件属性、不改变文件owner等，–delete表示删除目标路径下载源路径不存在的文件。

–exclude-from可以让我们编写一个列表排除不想同步的文件

1
--exclude-from=exclude.lst

exclude.lst样例

1
2
3
4
test
*_test
test.*
*_test.*

–stop-after指定同步超时时间（分钟）

1
--stop-after=240

大量数据首次同步时会耗时很长，而后续增量同步则耗时较少，我们可能不想影响服务器的其他工作选择在指定时段同步，那么加上这个参数可以防止首次同步持续很久，这样将通过连续多天把首次完整同步做完。

在低版本上这个参数叫--time-limit但是我测试下来指定这个参数超时后并不会停下来，不知道是不是BUG。

通常情况我只选择性使用上面这些参数，更多的参数可以通过rsync --help查看

一般来说源路径和目标路径都是目录，最好在结尾加上 / ，以避免在目标路径下新建出源路径文件夹的歧义。

如果路径是本地的，没什么特别的。如果路径是远程的，可以使用

1
[user@]HOST[:PORT]:/path/

也可以使用

1
rsync://[USER@]HOST[:PORT]/MODULE/path/

前者通过ssh服务(默认22端口)

后者通过rsync服务(默认873端口)

如果是少量文件或临时的同步，使用ssh就够了，如果是大量的定期的同步，应该使用rsync，因为rsync需要在一端开启rsync服务，另一端使用rsync相当于客户端连接服务器，而有理由相信rsync服务器会做更多的事来减少不必要的网络流量。

rsync服务器配置文件样例

/etc/rsyncd.conf

1
2
3
4
5
6
7
8
9
10
11
12
use chroot = false
max connections = 0
syslog facility = deamon
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid

[database]
path = /data/data_manager/database
comment = database
strict modes = false
read only = 1
list = no

rsync服务器配置文件详解

全局参数

在文件中 [module] 之外的所有配置行都是全局参数。当然也可以在全局参数部分定义模块参数，这时该参数的值就是所有模块的默认值。

参数 说明 默认值
address 在独立运行时，用于指定的服务器运行的 IP 地址。由 xinetd 运行时将忽略此参数，使用命令行上的 –address 选项替代。 本地所有IP
port 指定 rsync 守护进程监听的端口号。 由 xinetd 运行时将忽略此参数，使用命令行上的–port 选项替代。 873
motd file 指定一个消息文件，当客户连接服务器时该文件的内容显示给客户。 无
pid file rsync 的守护进程将其 PID 写入指定的文件。 无
log file 指定 rsync 守护进程的日志文件，而不将日志发送给 syslog。 无
syslog facility 指定 rsync 发送日志消息给 syslog 时的消息级别。 daemon
socket options 指定自定义 TCP 选项。 无

模块参数

模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式，这个名字就是在 rsync 客户端看到的名字，类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。可以根据自己的需要，来指定多个模块，模块中可以定义以下参数：

a. 基本模块参数

参数 说明 默认值
path 指定当前模块在 rsync 服务器上的同步路径，该参数是必须指定的。 无
comment 给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。 无

b. 模块控制参数

参数 说明 默认值
use chroot 若为 true，则 rsync 在传输文件之前首先 chroot 到 path 参数所指定的目录下。这样做的原因是实现额外的安全防护，但是缺点是需要 root 权限，并且不能备份指向 path 外部的符号连接所指向的目录文件。 true
uid 指定该模块以指定的 UID 传输文件。 nobody
gid 指定该模块以指定的 GID 传输文件。 nobody
max connections 指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。 0（没有限制）
lock file 指定支持 max connections 参数的锁文件。 /var/run/rsyncd.lock
list 指定当客户请求列出可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为 false，可以创建隐藏的模块。 true
read only 指定是否允许客户上传文件。若为 true 则不允许上传；若为 false 并且服务器目录也具有读写权限则允许上传。 true
write only 指定是否允许客户下载文件。若为 true 则不允许下载；若为 false 并且服务器目录也具有读权限则允许下载。 false
ignore errors 指定在 rsync 服务器上运行 delete 操作时是否忽略 I/O 错误。一般来说 rsync 在出现 I/O 错误时将将跳过 –delete 操作，以防止因为暂时的资源不足或其它 I/O 错误导致的严重问题。 true
ignore nonreadable 指定 rysnc 服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些不应该被备份者获得的文件时是有意义的。 false
timeout 该选项可以覆盖客户指定的 IP 超时时间。从而确保 rsync 服务器不会永远等待一个崩溃的客户端。对于匿名 rsync 服务器来说，理想的数字是 600（单位为秒）。 0 (未限制)
dont compress 用来指定那些在传输之前不进行压缩处理的文件。该选项可以定义一些不允许客户对该模块使用的命令选项列表。必须使用选项全名，而不能是简称。当发生拒绝某个选项的情况时，服务器将报告错误信息然后退出。例如，要防止使用压缩，应该是：”dont compress = *”。 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

c. 模块文件筛选参数

参数 说明 默认值
exclude 指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式。 空
exclude from 指定一个包含 exclude 规则定义的文件名，服务器从该文件中读取 exclude 列表定义。 空
include 指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式 。 空
include from 指定一个包含 include 规则定义的文件名，服务器从该文件中读取 include 列表定义。 空
  • 一个模块只能指定一个exclude 参数、一个include 参数。
  • 结合 include 和 exclude 可以定义复杂的exclude/include 规则 。
  • 这几个参数分别与相应的rsync 客户命令选项等价，唯一不同的是它们作用在服务器端。
  • 关于如何书写规则文件的内容请参考http://www.howtocn.org/rsync:use_rsync。

d. 模块用户认证参数

参数 说明 默认值
auth users 指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。用户名和口令以明文方式存放在 secrets file 参数指定的文件中。 (匿名方式)
secrets file 指定一个 rsync 认证口令文件。只有在 auth users 被定义时，该文件才起作用。 空
strict modes 指定是否监测口令文件的权限。若为 true 则口令文件只能被 rsync 服务器运行身份的用户访问，其他任何用户不可以访问该文件。 true
  • rsync 认证口令文件的权限一定是 600，否则客户端将不能连接服务器。
  • rsync 认证口令文件中每一行指定一个 用户名:口令 对，格式为：

username:passwd

  • 一般来说口令最好不要超过8个字符。若您只配置匿名访问的 rsync 服务器，则无需设置上述参数。

e. 模块访问控制参数

参数 说明 默认值
hosts allow 用一个主机列表指定哪些主机客户允许连接该模块。不匹配主机列表的主机将被拒绝。 *
hosts deny 用一个主机列表指定哪些主机客户不允许连接该模块。 空

客户主机列表定义可以是以下形式：

  • 单个IP地址。例如：192.168.0.1
  • 整个网段。例如：192.168.0.0/24，192.168.0.0/255.255.255.0
  • 可解析的单个主机名。例如：centos，centos.bsmart.cn
  • 域内的所有主机。例如：*.bsmart.cn
  • “*”则表示所有。
  • 多个列表项要用空格间隔。

f. 模块日志参数

参数 说明 默认值
transfer logging 使 rsync 服务器将传输操作记录到传输日志文件。 false
log format 指定传输日志文件的字段。 ”%o %h [%a] %m (%u) %f %l”

设置了”log file”参数时，在日志每行的开始会添加”%t [%p]“。

可以使用的日志格式定义符如下所示：

  • %a - 远程IP地址

  • %h - 远程主机名

  • %l - 文件长度字符数

  • %p - 该次 rsync 会话的 PID

  • %o - 操作类型：”send” 或 “recv”

  • %f - 文件名

  • %P - 模块路径

  • %m - 模块名

  • %t - 当前时间

  • %u - 认证的用户名（匿名时是 null）

  • %b - 实际传输的字节数

  • %c - 当发送文件时，记录该文件的校验码