实验节点如下:源节点:192.168.0.111备份节点:192.168.0.112------------------------------以下部分在两个节点上执行1、防火墙开放873端口(两个节点)#/sbin/iptables-IINPUT-ptcp--dport873-jACCEPT#/etc/rc.d/init.d/iptablessave#serviceiptablesrestart2、关闭selinux..
分类:
其他好文 时间:
2014-12-20 18:23:58
阅读次数:
179
主服务器:192.168.5.13_ubuntu从服务器:192.168.5.11_centos================== 1> 在两台主机上分别安装rsync===================ubuntu安装如下:# apt-get install rsync编译安装:下载这个免费的...
分类:
系统相关 时间:
2014-12-20 15:29:23
阅读次数:
216
文章: http://blog.csdn.net/lili72
背景: 分布式文件通过rsync同步到生产机。 文件数 1440=24*60 也就是一分钟生成一个文件 文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式,需要对文件进行解析,导入HDFS中。
过程
1 rsync同步文件到当天的日期目录,每天实时把文件...
分类:
Web程序 时间:
2014-12-19 23:32:53
阅读次数:
407
由于目前线上的两台NFS服务器,一台为主,一台为备。主到备的数据同步,靠rsync来做。由于数据偏重于图片业务,并且还是千万级的碎图片。在目前的业务框架下,NFS服务是存在单点的,并且数据的同步也不能做完全实时性,从而导致不能确保一致性。因此,出于对业务在线率和数据安..
分类:
其他好文 时间:
2014-12-19 19:22:51
阅读次数:
415
1、问题:最近在做日志的实时同步,上线之前是做过单份线上日志压力测试的,消息队列和客户端、本机都没问题,但是没想到上了第二份日志之后,问题来了:集群中的某台机器 top 看到负载巨高,集群中的机器硬件配置一样,部署的软件都一样,却单单这一台负载有问题,初步猜测可能硬件有问题了。同时,我们还需要把负载...
分类:
移动开发 时间:
2014-12-18 00:08:53
阅读次数:
405
主服务器:192.168.5.13_ubuntu从服务器:192.168.5.11_centos================== 1> 在两台主机上分别安装rsync===================ubuntu安装如下:# apt-get install rsync编译安装:下载这个免费的...
分类:
系统相关 时间:
2014-12-17 12:13:18
阅读次数:
245
网络延迟是所有实时同步的游戏都会遇到的问题,下面是关于实时同步问题的一些思考和处理方法。具体的解决方法可能比较特殊,首先这里的服务器并不跑定时器(除了一个游戏结束倒计时的定时器),由前端驱动,延迟的情况下主要是由前端来预测或纠正,服务器辅助,处理和转发,据我的了解好像没什么人这样子搞吧。所以看完如果...
分类:
移动开发 时间:
2014-12-15 18:59:23
阅读次数:
189
1、问题: 最近在做日志的实时同步,上线之前是做过单份线上日志压力测试的,消息队列和客户端、本机都没问题,但是没想到上了第二份日志之后,问题来了: 集群中的某台机器 top 看到负载巨高,集群中的机器硬件配...
分类:
系统相关 时间:
2014-12-14 07:21:04
阅读次数:
289
关于这个auth失败的问题,有以下可能的情况:1、密码输入错误:请再次确认你登录用户的密码无误2、secrets file格式错误:secrets file的文件格式是 upload:123456表示upload用户的rsync密码是1234563、配置文件写错:最坑爹的一个,看看自己模块配置下面的...
分类:
其他好文 时间:
2014-12-12 18:26:40
阅读次数:
104
由于目录下全是琐碎的小文件而且目录结构具深,使用rm -rf /backup ,速度是每秒钟40-60M,我去,10T的数据得删多长时间啊!网上找资料,可以通过rsync来实现,mkdir /tmp/nullrsync--delete-before-a-H-v--progress--stats/tm...
分类:
系统相关 时间:
2014-12-11 20:46:05
阅读次数:
237