UNISON安装部署手册 操作系统:SUSE12 安装包:inotify-tools-3.13.tar.gz ocaml-4.02.0.tar.gz unison-2.48.4.tar.gz 主机:FH-UMP-PORTAL1 192.168.1.181 FH-UMP-PORTAL2 192.168 ...
分类:
其他好文 时间:
2018-11-11 12:15:15
阅读次数:
190
相信各位小伙伴在日常的工作中,经常会遇到需要将数据定时推送到别的服务器,甚至是要实时同步的情况。 下面笔者将会介绍几种可行的方式。 一.scp+ssh-key+crontab 这种是最原始的办法,但也是最基本,最不受限制的,基本只要能ssh到对端,这种方法就是可行的。笔者曾经在项目中遇到过两端的服务 ...
分类:
系统相关 时间:
2018-11-08 18:31:51
阅读次数:
288
保证分布式系统数据一致性的6种方案 编者按:本文由「高可用架构后花园」群讨论整理而成。 有人的地方,就有江湖 有江湖的地方,就有纷争 问题的起源 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性? 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要 ...
分类:
其他好文 时间:
2018-11-04 12:48:20
阅读次数:
156
第1章 Rsync简介 1.1 Rsync基本概述 rsync是一款开源的备份工具,可以在不同主机之间进行同步,可实现全量备份与增量备份 全量:将全部数据,进行传输覆盖 增量:只传输差异部分的数据 1.2 实现增量复制的原理 Rsync通过其独特的“quick check”算法,实现增量传输数据 在 ...
分类:
其他好文 时间:
2018-11-01 00:58:32
阅读次数:
282
假如产品需求文档(PRD)是一个产品,如何做出一个拥有良好用户体验的PRD? 让我们先来考察下PRD的用户群体(User Persona):主要是开发人员,在繁忙的开发任务中最希望看到“简洁易懂”的产品需求文档。 梳理下PRD的功能:传达出产品需求;管理记录产品迭代过程;各部门共享产品信息,以促进沟 ...
分类:
其他好文 时间:
2018-10-20 00:52:13
阅读次数:
270
一、软件环境:操作系统:CentOS release 6.5 (Final)java版本: jdk1.8zookeeper版本: zookeeper-3.4.11kafka 版本: kafka_2.11-1.1.0.tgzmaxwell版本:maxwell-1.16.0.tar.gz注意 : 关闭所... ...
分类:
数据库 时间:
2018-10-19 18:19:20
阅读次数:
843
因近期项目需求,需要同步云端服务器的数据给 方做大数据分析. 思路: 起初只要数据同步,准备开放数据采集接口.但实时性较差,会有延迟。 故而寻觅各种解决方案,最终确定使用 rsync 进行文件同步,otter(阿里的开源工具) 进行数据库同步 最终使用成功,同步效果显著! 本文先只介绍 rsync ...
分类:
其他好文 时间:
2018-10-18 16:46:09
阅读次数:
191
Rsync用来实现触发式的文件同步。inotify-tools是一套组件,Linux内核从2.6.13版本开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件存取、删除、移动等。利用这一机制,可以非常方便地实现文件异动告警、增量备份,并针对目录或文件的变化及时作出响应;所以使用i ...
分类:
其他好文 时间:
2018-10-11 21:43:22
阅读次数:
130
参考文档:https://vastxiao.github.io/article/2017/09/02/Linux/lsyncd_usage/ 防止连接丢失,已保存至百度网络-郑州-XXXXX 建议首先查看 参考文档连接,写的比较全了 1、简介 2、安装 3、yum安装文件结构 4、文件配置 一个真实 ...
分类:
其他好文 时间:
2018-10-08 12:06:57
阅读次数:
3372
一、rsync(一)、rsync简介rsync是Linux和Unix下一款远程数据同步工具,rsync第一次会把数据全量同步到远端服务器,之后会对比两个文件的不同,传输差异文件,实现增量同步优点:安全性高、备份迅速,使用同步算法,只同步有变化的文件备份文件保持原有文件的属性软硬连接,且支持排除备份等缺点:在数据同步之前需要扫描所有的文件进行对比才能进行差异化同步,如果同步文件达到百万级或者千万级,
分类:
其他好文 时间:
2018-10-02 22:25:02
阅读次数:
331