rsync 远程同步记录

您所在的位置:网站首页 远程没权限 rsync 远程同步记录

rsync 远程同步记录

2024-03-14 02:48| 来源: 网络整理| 查看: 265

一。简介

rsync 是一个做远程同步用的Linux命令。 (文章没有提及Windows版的cwrsync)

 

安装方式:1.ubuntu  apt-get  install  rsync     2. centos  yum install rsync  不再赘述。

 

启动:客户端和服务端都得启动。    rsync  --daemon  就启动了。

ps -ef|grep rsync  |grep -v grep  查一下看起来没、

如果想重启,就先kill 掉进程再  --daemon  如下命令

ps -ef|grep rsync  |grep -v grep   查进程PID号

kill  -9  PID

rsync  --daemon  这样就行了  如果你的配置文件不再 /etc/rsyncd.conf   命令后面加配置文件绝对路径就行。

rsync  --daemon  --config=/etc/rsyncd/rsyncd.conf

 

rsync有六种不同的工作模式:  (摘自网络)

1。拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。 如:rsync -a /data /backup

2.使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。 如:rsync -avz *.c foo:src

3.使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。 如:rsync -avz foo:src/bar /data

4.从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。 如:rsync -av [email protected]::www /databack

5.从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。    如:rsync -av /databack [email protected]::www

6.列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。 如:rsync -v rsync://192.168.78.192/www

 

一般用这个东西来实现两个服务器中文件的同步,比如两个系统需要同步文件。那么就是两台Linux服务器之间脚本定时掉rsync同步。也就是第五条。

 

二:说一下比较常用的几个参数

rsync  -av --delete  --password-file=/etc/rsync.pass   /tmp/a/     [email protected]::backup/a/   

如上,一般脚本就使用这些参数就够了。   注意一点 / 这个是很敏感的。表示目录下的文件,否则同步目录。

/tmp/a  是当前客户机(传输者) 的文件目录  -R参数是指定相对路径。不建议指定相对路径。所以不建议-R

[email protected]::backup/a  是接受者。也就是rsync的服务端、 其中 backup 这个是配置的模块。也就是目的目录

rsync的配置文件在 /etc/rsyncd.conf  如果没有就自己创建就行。

-a   --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD

-v   --verbose 详细模式输出

--delete 删除那些DST中SRC没有的文件

--password-file=FILE 从FILE中得到密码          就如上这几个参数就够用了。想加哪个参数看文章finally标题的参数列表、

 

三:说一下配置文件。

rsync  -av --delete  --password-file=/etc/rsync.pass   /tmp/a/     [email protected]::backup/a/   

配置文件的话,主要是服务端的配置文件。客户端无所谓。下面是配置文件内容

uid = root gid = root port = 873   #默认端口  不写也行 read only = no hosts allow = 192.168.1.101            #允许通过的IP地址,这有个坑,多个ip要写一行逗号隔开。

[backup]                               #要同步的模块名   上面backup位置              comment = this is module for backup                  path = /usr/local/src/                 #要同步的目录服务端进到这个目录下了。              auth users = back                    #登录系统使用的用户名   随便起  就是上面的root              secrets file = /etc/rsyncd.pass #密码文件的存放位置     名随便起。

如上这些配置就够用了。密码细则第四标题讲。

 

四。说一下关于rsync的密码访问

如果你  rsync  -av --delete   /tmp/a/     [email protected]::backup/a/   

如上命令同步文件时,也是可以的,只要你服务端没有指定 auth  users   和 secrets file 。

如果模块指定了secrets file  那么就必须使用你secrets file指定位置的文件作为密码文件。

这个密码文件内容就是 auth  users  中指定的虚拟用户名  :  密码   

例:     back:123456   back  就是如上配置文件中auth  users 指定的。  就这一句就够了。

然后你客户端访问服务端的时候就需要使用密码了,其中密码有五种解决方案。

(1) 手动输密码。就是手动指定,当然要是脚本或者定时任务这种肯定不行。

(2) 使用密码文件,如上服务端已经指定好密码文件位置和内容了。  下面就是客户端的操作了。客户端创建一个文件,爱在哪建在哪建。如 /etc/rsync.pass 然后文件里面就写密码就完事了。   比如  123456  就完了,不需要别的。然后在你输入rsync命令时加上--password-file=/etc/rsync.pass  参数 指定密码文件在哪就Ok  有个坑 密码文件必须 600 访问权限

(3) 使用ssh 传。  这个是ssh-keygen  一路回车。然后去找  公钥。/root/.ssh/id_rsa.pub   会生成在这个地方。然后从客户端将这个文件追加到服务端的 authorized_keys 中   然后就ok了  (这个我没试,我采用第二种方法)

(4) 使用环境变量  有一个环境变量叫RSYNC_PASSWORD     vim  /etc/profile 编辑这个文件  加入命令  export  RSYNC_PASSWORD = "123456"#  123456就是你对应想连的远程模块的密码。 然后  source  /etc/profile 或者 

.  /etc/profile  注意前面这个  .  点跟 / 是分开的 然后输env 命令获取环境变量,发现有了,那就ok。但是需要注意的是你的程序是在哪启动的,如果跑在服务器下没问题,要是跑到docker中使用这种方法就不合适了。(推荐第二种)

如果你想删掉某个环境变量,在/etc/profile中   unset   RSYNC_PASSWORD  就删了  

经过如上环境变量的配置   即使服务端设置密码rsync  -av --delete   /tmp/a/     [email protected]::backup/a/    也OK不用手动输入密码。

(5) 使用 sshpass  这个来通过密码访问,这个密码是明示的,所以肯定不安全。

先  yum  install  sshpass  安装。然后就可以用了。

sshpass  -p  123456  rsync   -av --delete   /tmp/a/     [email protected]::backup/a/   就OK了。

可以是可以,但是密码是明文传输的,太危险了。 相比之下第二种方案是最好的。

 

五:说一下遇到的坑

1. rsync: failed to connect to 10.1.2.3 (10.1.2.3): Connection refused (111)    rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]

服务端没有开启 rsync 服务。(客户端没开通) 解决办法: 服务端开通  rsync --daemon 服务。 

2.rsync -av /home/zy/testRsync/a   [email protected]::/home/zy/testRsync/a (错误的命令) ERROR: The remote path must start with a module name not a / rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2] :: 后面要跟 module名称 而不是服务器的绝对路径。  ::moduleName  而不是  ::/home

3.@ERROR: Unknown module 'home' rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2] 解决办法:   rsync -av /home/zy/testRsync/a   [email protected]::home/a 服务端/etc/rsync.conf 文件中添加一个 module 叫 home 或者其他你爱叫啥叫啥。

4. sending incremental file list rsync: failed to set times on "/b/." (in brower): Operation not permitted (1) rsync: delete_file: unlink(ee.txt) failed: Permission denied (13)

这个就是权限的问题, 把文件都提权 chmod -R 777 再试就好使了。。。

还有别的错,我忘了。。。网上一般都能搜索到解决方案。

 

六 。password-file权限问题

密码文件只有600的权限下才能使用,  chmod  600  /etc/rsync.pass 。

如上配置已经是配置文件600了,而我要说的权限问题在于 你是用root创建的这个文件,但是你程序启动者是www或者是其他是没有权限能访问这个 密码文件的。解决办法:  chown  www:www  /etc/rsync.pass    修改这个密码文件的拥有者,这样就能在不允许修改600这个权限的前提下使用这个文件 。 

 

对于定时任务来说。就比如你用 crontab  他启动定时任务是以root来读取password-file从而执行rsync的。所以你还必须把所有者改成root。

而上面这个www是你在程序里面调 rsync 此时密码文件600  只有创建者才能访问,所以你必须用chown将所有者改成www才能在程序内部访问。算是一个转圈坑吧。

Finally

-v, --verbose 详细模式输出 -q, --quiet 精简输出模式 -c, --checksum 打开校验开关,强制对文件传输进行校验 -a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD -r, --recursive 对子目录以递归模式处理 -R, --relative 使用相对路径信息 -b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。 --backup-dir 将备份文件(如~filename)存放在在目录下。 -suffix=SUFFIX 定义备份文件前缀 -u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件) -l, --links 保留软链结 -L, --copy-links 想对待常规文件一样处理软链结 --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结 --safe-links 忽略指向SRC路径目录树以外的链结 -H, --hard-links 保留硬链结 -p, --perms 保持文件权限 -o, --owner 保持文件属主信息 -g, --group 保持文件属组信息 -D, --devices 保持设备文件信息 -t, --times 保持文件时间信息 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 -n, --dry-run现实哪些文件将被传输 -W, --whole-file 拷贝文件,不进行增量检测 -x, --one-file-system 不要跨越文件系统边界 -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节 -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步 --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息 -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件 --existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件 --delete 删除那些DST中SRC没有的文件 --delete-excluded 同样删除接收端那些被该选项指定排除的文件 --delete-after 传输结束以后再删除 --ignore-errors 及时出现IO错误也进行删除 --max-delete=NUM 最多删除NUM个文件 --partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输 --force 强制删除目录,即使不为空 --numeric-ids 不将数字的用户和组ID匹配为用户名和组名 --timeout=TIME IP超时时间,单位为秒 -I, --ignore-times 不跳过那些有同样的时间和长度的文件 --size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间 --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0 -T --temp-dir=DIR 在DIR中创建临时文件 --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份 -P 等同于 --partial --progress 显示备份过程 -z, --compress 对备份的文件在传输时进行压缩处理 --exclude=PATTERN 指定排除不需要传输的文件模式 --include=PATTERN 指定不排除而需要传输的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --version 打印版本信息 --address 绑定到特定的地址 --config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件 --port=PORT 指定其他的rsync服务端口 --blocking-io 对远程shell使用阻塞IO -stats 给出某些文件的传输状态 --progress 在传输时现实传输过程 --log-format=formAT 指定日志文件格式 --password-file=FILE 从FILE中得到密码 --bwlimit=KBPS 限制I/O带宽,KBytes per second -h, --help 显示帮助信息



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3