主服务器：192.168.5.13_ubuntu从服务器：192.168.5.11_centos================== 1> 在两台主机上分别安装rsync===================ubuntu安装如下：# apt-get install rsync编译安装：下载这个免费的...
分类：
系统相关 时间：
2014-12-20 15:29:23
阅读次数：
216
文章： http://blog.csdn.net/lili72
背景： 分布式文件通过rsync同步到生产机。 文件数 1440=24*60 也就是一分钟生成一个文件 文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式，需要对文件进行解析，导入HDFS中。
过程
1 rsync同步文件到当天的日期目录，每天实时把文件...
分类：
Web程序 时间：
2014-12-19 23:32:53
阅读次数：
407
由于目前线上的两台NFS服务器，一台为主，一台为备。主到备的数据同步，靠rsync来做。由于数据偏重于图片业务，并且还是千万级的碎图片。在目前的业务框架下，NFS服务是存在单点的，并且数据的同步也不能做完全实时性，从而导致不能确保一致性。因此，出于对业务在线率和数据安..
分类：
其他好文 时间：
2014-12-19 19:22:51
阅读次数：
415
序言：如果我们后端有多台网站服务器或者文件服务器，而且没有好的文件同步机制，那么当我们升级程序或者更新文件的时候，就需要每台服务器或者目录都要更新，这样很容易出问题，并很容易导致两边的文件不一致，从而出现很多莫民其妙的问题。因此我们需要使用好的文件同步方式来实现几个后端服务器文件的同步，目前广泛采用...
分类：
其他好文 时间：
2014-12-18 18:18:42
阅读次数：
300
主服务器：192.168.5.13_ubuntu从服务器：192.168.5.11_centos================== 1> 在两台主机上分别安装rsync===================ubuntu安装如下：# apt-get install rsync编译安装：下载这个免费的...
分类：
系统相关 时间：
2014-12-17 12:13:18
阅读次数：
245
关于这个auth失败的问题，有以下可能的情况：1、密码输入错误：请再次确认你登录用户的密码无误2、secrets file格式错误：secrets file的文件格式是 upload:123456表示upload用户的rsync密码是1234563、配置文件写错：最坑爹的一个，看看自己模块配置下面的...
分类：
其他好文 时间：
2014-12-12 18:26:40
阅读次数：
104
由于目录下全是琐碎的小文件而且目录结构具深，使用rm -rf /backup ,速度是每秒钟40-60M,我去，10T的数据得删多长时间啊！网上找资料，可以通过rsync来实现，mkdir /tmp/nullrsync--delete-before-a-H-v--progress--stats/tm...
分类：
系统相关 时间：
2014-12-11 20:46:05
阅读次数：
237
由于目录下全是琐碎的小文件而且目录结构具深，使用rm-rf/backup,速度是每秒钟40-60M,我去，10T的数据得删多长时间啊！网上找资料，可以通过rsync来实现，mkdir/tmp/nullrsync--delete-before-a-H-v--progress--stats/tmp/null//backup/photos/
测试了删除速度，刚开始时候每秒..
分类：
系统相关 时间：
2014-12-11 19:21:56
阅读次数：
307
Windows下用cwRsync同步数据
cwRsync：Windows下的rsync工具
cwRsync下载地址：http://itefix.no/cwrsync/
如果只需要client功能，下载免费版本即可。
rsync --vazu --delete host::rsyncd_dir /cygdrive/d/destination_dir
注意其中的 cygdriv...
以下文档于2014-12-10更新先在服务端操作#wget http://pkgs.repoforge.org/rsync/rsync-3.0.9-2.el6.rfx.x86_64.rpm#rpm –ivh rsync-3.0.9-2.el6.rfx.x86_64.rpm#chkconfig rsy...
分类：
其他好文 时间：
2014-12-11 11:54:20
阅读次数：
135
