文章： http://blog.csdn.net/lili72
背景： 分布式文件通过rsync同步到生产机。 文件数 1440=24*60 也就是一分钟生成一个文件 文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式，需要对文件进行解析，导入HDFS中。
过程
1 rsync同步文件到当天的日期目录，每天实时把文件...
分类：
Web程序 时间：
2014-12-19 23:32:53
阅读次数：
407
主服务器：192.168.5.13_ubuntu从服务器：192.168.5.11_centos================== 1> 在两台主机上分别安装rsync===================ubuntu安装如下：# apt-get install rsync编译安装：下载这个免费的...
分类：
系统相关 时间：
2014-12-17 12:13:18
阅读次数：
245
关于这个auth失败的问题，有以下可能的情况：1、密码输入错误：请再次确认你登录用户的密码无误2、secrets file格式错误：secrets file的文件格式是 upload:123456表示upload用户的rsync密码是1234563、配置文件写错：最坑爹的一个，看看自己模块配置下面的...
分类：
其他好文 时间：
2014-12-12 18:26:40
阅读次数：
104
以下文档于2014-12-10更新先在服务端操作#wget http://pkgs.repoforge.org/rsync/rsync-3.0.9-2.el6.rfx.x86_64.rpm#rpm –ivh rsync-3.0.9-2.el6.rfx.x86_64.rpm#chkconfig rsy...
分类：
其他好文 时间：
2014-12-11 11:54:20
阅读次数：
135
Windows下rsync同步数据报错如下图：解决方法：此报错原因（rsync服务器端无法连接到客户端212.246）检测69.251服务器端到客户端的rsync端口是否通873发现69.251到客户端212.246的端口873是不通的，在212.246上面的防火墙规则加上873端口。再次运行此同步脚本即可。
假设有a,b两台电脑，主机a的ip是:192.168.1.12主机b的ip是：192.168.1.13，主机a有一个用户tt2tail/etc/passwd如下：tt2:x:500:500::/home/tt2:/bin/bash主机b有一个用户：soartail/etc/passwd如下：soar:x:500:500::/home/soar:/bin/bash一般情况下，同步的账户名应该相同，如..
分类：
其他好文 时间：
2014-11-30 00:57:11
阅读次数：
232
Rsync在推送或抓取数据时，在rsync客户端会出现性能问题,负载比较大且数据量比较大的生产环境要注意这一点。本文只是个人平时配置示例，可以简单修改后用于实际环境使用，rsync不仅可以实现服务器间的复制，对于本地目录的同步也相当方便。1.linux平台rsync服务配置示例(1)客户..
分类：
其他好文 时间：
2014-11-23 08:11:14
阅读次数：
227
最近迁移机房，由于系统换到了新机房的新机器上，我们的代码发布系统出现了两次rsync同步不通问题，我们线上的其他机器都是每分钟一次来发布机rsync同步代码，还出现了两次机器ssh不通问题，机器可以ping通，但是ssh不上，报错不能分配内存，内存为62G，实际也就用了4-5G。rsyn..
分类：
Web程序 时间：
2014-11-17 19:36:55
阅读次数：
131
rsync是一款优秀的数据同步软件，在跨服务器，跨机房，跨国备份服务器的首选工具，下面就来介绍下如何配置安装cwRsyncServer很大多数软件一样是B/C架构，cwRsyncServer是rsync的windows版本一，下载官方下载地址：官方网站：http://rsync.samba.org/...
环境：redhat6.4-64主机：10.1.1.2镜像机：10.1.1.3目标：将主机上的更新问题及时同步到镜像机上在主机上安装inotify-tools-3.13.tar.gztar-xvfinotify-tools-3.13.tar.gzcdinotify-tools-3.13./configuremake&&makeinstall在主机上新建同步脚本vim/opt/shells/rsync.s..
分类：
其他好文 时间：
2014-11-11 22:57:56
阅读次数：
210
