码迷，mamicode.com
首页 > 系统相关 > 详细

linux系统rsync命令

时间：2020-07-12 22:09:24      阅读：100      评论：0      收藏：0      [点我收藏+]

标签：ota   load   pass   模块   定时执行   定时   body   eth   信息   

1.修改环境变量，实现免密传输

export RSYNC_PASSWORD=123
## 修改环境变量之前是这样传输
[root@web01 ~]#  rsync -avz /etc/passwd wzh_bak@10.0.0.41::wzh --password-file=/etc/rsync.pass

## 修改环境变量之后就变成了这样
[root@web01 ~]#  rsync -avz /etc/passwd
wzh_bak@10.0.0.41::wzh

2.无差别同步

## 需要用到--delete选项
#首先创建出一个目录，里面加入文件
[root@web01 ~]# mkdir /222
[root@web01 ~]# mv 1.txt /222/
[root@web01 ~]# ll /222
total 4
-rw-r--r-- 1 root root 4 May  7 22:23 1.txt
##把backup服务器无差异同步到创建出的目录里
[root@web01 ~]# rsync -avz --delete  wzh_bak@10.0.0.41::wzh /222
receiving incremental file list
deleting 1.txt
./
passwd
nfs_172.16.1.31_2020-05-25/
nfs_172.16.1.31_2020-05-25/2020-05-25_etc.tar.gz
nfs_172.16.1.31_2020-05-25/jy.md5
web02_172.16.1.8_2020-05-07/
web02_172.16.1.8_2020-05-07/2020-05-07_etc.tar.gz
web02_172.16.1.8_2020-05-07/jy.md5

sent 146 bytes  received 19,928,843 bytes  7,971,595.60 bytes/sec
total size is 20,325,848  speedup is 1.02
[root@web01 ~]# ll /222/
total 4
drwxr-xr-x 2 root root   49 May 25  2020 nfs_172.16.1.31_2020-05-25
-rw-r--r-- 1 root root 1022 May  7 17:58 passwd
drwxr-xr-x 2 root root   49 May  7 20:47 web02_172.16.1.8_2020-05-07
##同步完成后可以看到之前客户端目录中的1.txt文件没有了，这是因为服务端的目录里面没有这个文件，我们和服务端同步所以里面的内容就和服务端一样，1.txt数据丢失了

3.限制I/O读写速度，可以理解为限速

##主要是用到了--bwlimit=选项

[root@web01 ~]# rsync -avz --bwlimit=1 wzh_bak@10.0.0.41::wzh /222

4.脚本执行（客户端）

## 脚本开头 #！/bin/bash作用是解释器告诉我们这个脚本使用/bin/bash解释执行

#设置环境变量
export RSYNC_PASSWORD=123

#设置普通变量
D=$(date +%F)
IP=$(ifconfig eth1|awk ‘NR==2 {print $2}‘)
H=$(hostname)
bk_dir=/backup
local_dir=/backup/${H}_${IP}_${D}

#判断目录存在如果不存在则创建
if [ ! -d $local_dir ] ; then
mkdir -p $local_dir
fi

#客户端本地打包备份至上面创建的目录下
tar zcPf ${local_dir}/${D}_etc.tar.gz /etc

#生成校验码
md5sum ${local_dir}/${D}_etc.tar.gz
>${local_dir}/jy.md5

#将备份的数据推送到本地服务器目录
rsync -avz $local_dir wzh_bak@10.0.0.41::wzh

#只保留七天内的备份数据其他删除
cd / && find /backup/ -type d ! -mtime -7 ! -name ‘backup‘  |xargs rm -rf

5.加入定时任务(客户端)

#每天凌晨一点打包/etc目录并传输到backup服务器 by:王张行
00 1 * * * /bin/sh /root/bf.sh  &>/dev/null

6.服务端配置
1.邮箱配置

## 下载mailx
[root@backup backup]# yum install -y mailx
下载完成修改配置文件并手机打开邮箱账户通过手机短信方式
获取授权码
#发件人
set from=714845658@qq.com
#邮件服务器
set smtp=smtp.qq.com
#发件人用户名
set smtp-auth-user=714845658@qq.com
#发件人密码（QQ邮箱不可以使用密码，只能使用授权码）
set smtp-auth-password=xxx
#登录方式
set smtp-auth=login
#邮件服务器协议及端口
set smtp=smtps://smtp.qq.com:465
#忽略证书
set ssl-verify=ignore
#指定证书位置
set nss-config-dir=/root/.certs
##########下面是获取证书############

第一步：mkdir -p /root/.certs
第二步：cd ./.certs/
 第三步： echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne ‘/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p‘ > ~/.certs/qq.crt
 
 第四步：certutil -A -n "GeoTrust SSL CA" -t "C,,"  -d  ~/.certs  -i  ~/.certs/qq.crt
  第五步：  certutil -A -n "GeoTrust Global CA" -t "C,,"  -d  ~/.certs  -i  ~/.certs/qq.crt
  第六步：  certutil -L -d /root/.certs
  第七步：certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ~/.certs -i ~/.certs/qq.crt
  ########获取证书之后发测试邮件#########
 echo wzh |mail -s ‘测试邮件‘ 714845658@qq.com

2.服务端配置文件

安装rsync
yun install -y rsync 

## 安装完成修改配置文件，一般配置文件是以.conf 或 .cnf 或 .cfg结尾
[root@backup ~]# vim /etc/rsyncd.conf
## 指定进程启动uid
uid = rsync
## 指定进程启动gid
gid = rsync
## rsync服务的端口
port = 873
## 无需让rsync以root身份运行，允许接收文件的完整属性
fake super = yes
## 禁锢指定的目录
use chroot = no
## 最大连接数
max connections = 200
## 超时时间
timeout = 600
## 忽略错误
ignore errors
## 不只读（可读可写）
read only = false
## 不允许别人查看模块名
list = false
## 传输文件的用户
auth users = wzh_bak
## 传输文件的用户和密码文件
secrets file = /etc/rsync.passwd
## 日志文件
log file = /var/log/rsyncd.log
#####################################
## 模块名
[wzh]
## 注释，没啥用
comment = 123
## 备份的目录
path = /backup

# 3.根据配置文件内容，创建出来需要的用户，目录，密码文件...
# 3.1 创建用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M
# 3.2 创建备份目录
[root@backup ~]# mkdir /backup
# 3.3 修改属组和属主
[root@backup ~]# chown -R rsync.rsync /backup/
# 3.4 创建用户名和密码存放的文件
[root@backup ~]# vim /etc/rsync.passwd
wzh_bak:123

[root@backup ~]# echo ‘wzh_bak:123‘ > /etc/rsync.passwd
# 3.5 修改密码文件的权限为600
[root@backup ~]# chmod 600 /etc/rsync.passwd

# 4.启动服务并且加入开机自启
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

# 5.检测端口
[root@backup ~]# netstat -lntup|grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      18373/rsync         
tcp6       0      0 :::873                  :::*                    LISTEN      18373/rsync        
# 6.检测进程
[root@backup ~]# ps -ef|grep [r]sync
root      18373      1  0 20:48 ?        00:00:00 /usr/bin/rsync --daemon --no-detach

3.服务端脚本(校验)

[root@backup ~]# cat md5sum.sh 
#!/bin/bash

#设置普通变量
D=$(date +%F)
IP=$(ifconfig eth1|awk ‘NR==2 {print $2}‘)
H=$(hostname)
bk_dir=/backup
local_dir=/backup/${H}_${IP}_${D}

#将校验结果发送到管理员邮箱
md5sum -c ${bk_dir}/*/jy.md5 |mail -s "$(date +%F)_$(hostname)_rsync备份校验结果" 714845658@qq.com

#保留六个月的备份结果其它的删除
find /backup/ -type d ! -mtime -180 ! -name ‘backup‘  |xargs rm -rf

4.定时任务（服务端）

[root@backup ~]# crontab -l
#将/backup目录下的md5校验结果发送管理员邮箱 by王张行
05 1 * * * /bin/sh /root/md5sum.sh &>/dev/mull

Rsync备份案例
使用3台服务器主机名分别为web01、backup 、nfs主机信息见下表:

角色 外网IP 内网IP 主机名
WEB 10.0.0.7 172.16.1.7 web01
NFS 10.0.0.31 172.16.1.31 nfs01
Rsync 10.0.0.41 172.16.1.41 backup
WEB 10.0.0.8 172.16.1.41 web02

客户端需求
1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端每天凌晨1点定时执行该脚本
5.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间

服务端需求
1.服务端部署rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留6个月的备份数据,其余的全部删除

脚本解决

##客户端需求

1.1首先在客户端编辑一个备份的脚本

[root@nfs ~]# vim bf.sh

技术图片

注意：编辑脚本的时候一定要现在命令行实现，成功之后再加入到脚本里面，写一步实验一步，及时找到错误并改正。

1.2每天凌晨一点把备份目录传输到backup服务器

技术图片

## 服务端需求

1.1：配置邮箱

下载mailx
[root@backup backup]# yum install -y mailx
下载完成修改配置文件并手机打开邮箱账户通过手机短信方式
获取授权码
#发件人
set from=714845658@qq.com
#邮件服务器
set smtp=smtp.qq.com
#发件人用户名
set smtp-auth-user=714845658@qq.com
#发件人密码（QQ邮箱不可以使用密码，只能使用授权码）
set smtp-auth-password=xxx
#登录方式
set smtp-auth=login
#邮件服务器协议及端口
set smtp=smtps://smtp.qq.com:465
#忽略证书
set ssl-verify=ignore
#指定证书位置
set nss-config-dir=/root/.certs
##########下面是获取证书############

第一步：mkdir -p /root/.certs
第二步：cd ./.certs/
 第三步： echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne ‘/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p‘ > ~/.certs/qq.crt
 
 第四步：certutil -A -n "GeoTrust SSL CA" -t "C,,"  -d  ~/.certs  -i  ~/.certs/qq.crt
  第五步：  certutil -A -n "GeoTrust Global CA" -t "C,,"  -d  ~/.certs  -i  ~/.certs/qq.crt
  第六步：  certutil -L -d /root/.certs
  第七步：certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ~/.certs -i ~/.certs/qq.crt
  ########获取证书之后发测试邮件#########
 echo wzh |mail -s ‘测试邮件‘ 714845658@qq.com

技术图片

OK，测试成功

1.2：测试校验结果，因为在客户端的脚本里已经写了校验部分，所以传输过来的文件是有检验文件的

技术图片

测试结果也是OK的，那这样就可以把测试文件写进脚本l，根据要求

需要保留6个月的备份数据，其余的删除

技术图片

1.3：测试脚本是否成功

命令行输入sh md5.sh

技术图片

1.4：最后添加到定时任务，因为客户端是每天凌晨一点发送备份数据，那在服务端就把时间向后推迟五分钟

技术图片

linux系统rsync命令

标签：ota   load   pass   模块   定时执行   定时   body   eth   信息   

原文地址：https://www.cnblogs.com/zabcd/p/13289919.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！