rsync 远程同步记录 |
您所在的位置:网站首页 › 远程没权限 › rsync 远程同步记录 |
一。简介
rsync 是一个做远程同步用的Linux命令。 (文章没有提及Windows版的cwrsync)
安装方式:1.ubuntu apt-get install rsync 2. centos yum install rsync 不再赘述。
启动:客户端和服务端都得启动。 rsync --daemon 就启动了。 ps -ef|grep rsync |grep -v grep 查一下看起来没、 如果想重启,就先kill 掉进程再 --daemon 如下命令 ps -ef|grep rsync |grep -v grep 查进程PID号 kill -9 PID rsync --daemon 这样就行了 如果你的配置文件不再 /etc/rsyncd.conf 命令后面加配置文件绝对路径就行。 rsync --daemon --config=/etc/rsyncd/rsyncd.conf
rsync有六种不同的工作模式: (摘自网络) 1。拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。 如:rsync -a /data /backup 2.使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。 如:rsync -avz *.c foo:src 3.使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。 如:rsync -avz foo:src/bar /data 4.从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。 如:rsync -av [email protected]::www /databack 5.从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。 如:rsync -av /databack [email protected]::www 6.列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。 如:rsync -v rsync://192.168.78.192/www
一般用这个东西来实现两个服务器中文件的同步,比如两个系统需要同步文件。那么就是两台Linux服务器之间脚本定时掉rsync同步。也就是第五条。 二:说一下比较常用的几个参数 rsync -av --delete --password-file=/etc/rsync.pass /tmp/a/ [email protected]::backup/a/ 如上,一般脚本就使用这些参数就够了。 注意一点 / 这个是很敏感的。表示目录下的文件,否则同步目录。 /tmp/a 是当前客户机(传输者) 的文件目录 -R参数是指定相对路径。不建议指定相对路径。所以不建议-R [email protected]::backup/a 是接受者。也就是rsync的服务端、 其中 backup 这个是配置的模块。也就是目的目录 rsync的配置文件在 /etc/rsyncd.conf 如果没有就自己创建就行。 -a --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD -v --verbose 详细模式输出 --delete 删除那些DST中SRC没有的文件 --password-file=FILE 从FILE中得到密码 就如上这几个参数就够用了。想加哪个参数看文章finally标题的参数列表、 三:说一下配置文件。 rsync -av --delete --password-file=/etc/rsync.pass /tmp/a/ [email protected]::backup/a/ 配置文件的话,主要是服务端的配置文件。客户端无所谓。下面是配置文件内容 uid = root gid = root port = 873 #默认端口 不写也行 read only = no hosts allow = 192.168.1.101 #允许通过的IP地址,这有个坑,多个ip要写一行逗号隔开。 [backup] #要同步的模块名 上面backup位置 comment = this is module for backup path = /usr/local/src/ #要同步的目录服务端进到这个目录下了。 auth users = back #登录系统使用的用户名 随便起 就是上面的root secrets file = /etc/rsyncd.pass #密码文件的存放位置 名随便起。 如上这些配置就够用了。密码细则第四标题讲。 四。说一下关于rsync的密码访问 如果你 rsync -av --delete /tmp/a/ [email protected]::backup/a/ 如上命令同步文件时,也是可以的,只要你服务端没有指定 auth users 和 secrets file 。 如果模块指定了secrets file 那么就必须使用你secrets file指定位置的文件作为密码文件。 这个密码文件内容就是 auth users 中指定的虚拟用户名 : 密码 例: back:123456 back 就是如上配置文件中auth users 指定的。 就这一句就够了。 然后你客户端访问服务端的时候就需要使用密码了,其中密码有五种解决方案。 (1) 手动输密码。就是手动指定,当然要是脚本或者定时任务这种肯定不行。 (2) 使用密码文件,如上服务端已经指定好密码文件位置和内容了。 下面就是客户端的操作了。客户端创建一个文件,爱在哪建在哪建。如 /etc/rsync.pass 然后文件里面就写密码就完事了。 比如 123456 就完了,不需要别的。然后在你输入rsync命令时加上--password-file=/etc/rsync.pass 参数 指定密码文件在哪就Ok 有个坑 密码文件必须 600 访问权限 (3) 使用ssh 传。 这个是ssh-keygen 一路回车。然后去找 公钥。/root/.ssh/id_rsa.pub 会生成在这个地方。然后从客户端将这个文件追加到服务端的 authorized_keys 中 然后就ok了 (这个我没试,我采用第二种方法) (4) 使用环境变量 有一个环境变量叫RSYNC_PASSWORD vim /etc/profile 编辑这个文件 加入命令 export RSYNC_PASSWORD = "123456"# 123456就是你对应想连的远程模块的密码。 然后 source /etc/profile 或者 . /etc/profile 注意前面这个 . 点跟 / 是分开的 然后输env 命令获取环境变量,发现有了,那就ok。但是需要注意的是你的程序是在哪启动的,如果跑在服务器下没问题,要是跑到docker中使用这种方法就不合适了。(推荐第二种) 如果你想删掉某个环境变量,在/etc/profile中 unset RSYNC_PASSWORD 就删了 经过如上环境变量的配置 即使服务端设置密码rsync -av --delete /tmp/a/ [email protected]::backup/a/ 也OK不用手动输入密码。 (5) 使用 sshpass 这个来通过密码访问,这个密码是明示的,所以肯定不安全。 先 yum install sshpass 安装。然后就可以用了。 sshpass -p 123456 rsync -av --delete /tmp/a/ [email protected]::backup/a/ 就OK了。 可以是可以,但是密码是明文传输的,太危险了。 相比之下第二种方案是最好的。 五:说一下遇到的坑 1. rsync: failed to connect to 10.1.2.3 (10.1.2.3): Connection refused (111) rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2] 服务端没有开启 rsync 服务。(客户端没开通) 解决办法: 服务端开通 rsync --daemon 服务。 2.rsync -av /home/zy/testRsync/a [email protected]::/home/zy/testRsync/a (错误的命令) ERROR: The remote path must start with a module name not a / rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2] :: 后面要跟 module名称 而不是服务器的绝对路径。 ::moduleName 而不是 ::/home 3.@ERROR: Unknown module 'home' rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2] 解决办法: rsync -av /home/zy/testRsync/a [email protected]::home/a 服务端/etc/rsync.conf 文件中添加一个 module 叫 home 或者其他你爱叫啥叫啥。 4. sending incremental file list rsync: failed to set times on "/b/." (in brower): Operation not permitted (1) rsync: delete_file: unlink(ee.txt) failed: Permission denied (13) 这个就是权限的问题, 把文件都提权 chmod -R 777 再试就好使了。。。 还有别的错,我忘了。。。网上一般都能搜索到解决方案。 六 。password-file权限问题 密码文件只有600的权限下才能使用, chmod 600 /etc/rsync.pass 。 如上配置已经是配置文件600了,而我要说的权限问题在于 你是用root创建的这个文件,但是你程序启动者是www或者是其他是没有权限能访问这个 密码文件的。解决办法: chown www:www /etc/rsync.pass 修改这个密码文件的拥有者,这样就能在不允许修改600这个权限的前提下使用这个文件 。
对于定时任务来说。就比如你用 crontab 他启动定时任务是以root来读取password-file从而执行rsync的。所以你还必须把所有者改成root。 而上面这个www是你在程序里面调 rsync 此时密码文件600 只有创建者才能访问,所以你必须用chown将所有者改成www才能在程序内部访问。算是一个转圈坑吧。 Finally-v, --verbose 详细模式输出 -q, --quiet 精简输出模式 -c, --checksum 打开校验开关,强制对文件传输进行校验 -a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD -r, --recursive 对子目录以递归模式处理 -R, --relative 使用相对路径信息 -b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。 --backup-dir 将备份文件(如~filename)存放在在目录下。 -suffix=SUFFIX 定义备份文件前缀 -u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件) -l, --links 保留软链结 -L, --copy-links 想对待常规文件一样处理软链结 --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结 --safe-links 忽略指向SRC路径目录树以外的链结 -H, --hard-links 保留硬链结 -p, --perms 保持文件权限 -o, --owner 保持文件属主信息 -g, --group 保持文件属组信息 -D, --devices 保持设备文件信息 -t, --times 保持文件时间信息 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 -n, --dry-run现实哪些文件将被传输 -W, --whole-file 拷贝文件,不进行增量检测 -x, --one-file-system 不要跨越文件系统边界 -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节 -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步 --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息 -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件 --existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件 --delete 删除那些DST中SRC没有的文件 --delete-excluded 同样删除接收端那些被该选项指定排除的文件 --delete-after 传输结束以后再删除 --ignore-errors 及时出现IO错误也进行删除 --max-delete=NUM 最多删除NUM个文件 --partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输 --force 强制删除目录,即使不为空 --numeric-ids 不将数字的用户和组ID匹配为用户名和组名 --timeout=TIME IP超时时间,单位为秒 -I, --ignore-times 不跳过那些有同样的时间和长度的文件 --size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间 --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0 -T --temp-dir=DIR 在DIR中创建临时文件 --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份 -P 等同于 --partial --progress 显示备份过程 -z, --compress 对备份的文件在传输时进行压缩处理 --exclude=PATTERN 指定排除不需要传输的文件模式 --include=PATTERN 指定不排除而需要传输的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --version 打印版本信息 --address 绑定到特定的地址 --config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件 --port=PORT 指定其他的rsync服务端口 --blocking-io 对远程shell使用阻塞IO -stats 给出某些文件的传输状态 --progress 在传输时现实传输过程 --log-format=formAT 指定日志文件格式 --password-file=FILE 从FILE中得到密码 --bwlimit=KBPS 限制I/O带宽,KBytes per second -h, --help 显示帮助信息 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |