31、监控目录,新创建的文件名追加到日志中#要安装inotify-tools软件包#!/bin/bashMON_DIR=/optinotifywait-mq--format%f-ecreate$MON_DIR|\whilereadfiles;doecho$files>>test.logdone32、find一次查找多个指定文件类型#find./-name‘*.jpg‘-o-name‘*
分类:
系统相关 时间:
2018-06-25 13:04:11
阅读次数:
239
一、环境准备 操作系统:CentOS release 6.8 (Final) x86_64 服务器IP: 同步目录: 二、安装及配置rsync 客户端配置(目标端) 1、安装rsync 2、配置rsync 3、配置rsync同步的账户密码 4、赋权启动rsync 服务端配置(数据源) 1、安装rsy ...
分类:
其他好文 时间:
2018-06-21 00:00:26
阅读次数:
206
系统备份和恢复 备份数据的方式: 1、cp 和 scp 2、rsync 远程实时同步 3、dump工具 备份一个分区 4、商业的备份软件 dump工具: 1、dump工具只支持备份分区,不支持备份目录或者文件 2、dump工具支持ext2~ext4的文件系统类型 备份级别: 0:全量备份 非0:增量 ...
分类:
其他好文 时间:
2018-06-18 01:14:34
阅读次数:
174
10.19iptables规则备份和恢复serviceiptablessave将规则保存到默认配置文件/etc/sysconfig/iptablesiptables如果不使用serviceiptablessave命令,则重启之后规则会全部消失。如果想启动服务就让有规则,就把iptables保存在/etc/sysconfig/iptables利用iptables-save保存规则到指定路径:ipta
分类:
其他好文 时间:
2018-06-14 22:46:53
阅读次数:
368
部署rsync服务 三。安装 yum安装rsync软件包: yum -y install rsync 源码包安装 wget https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz tar -xzf rsync-3.1.2.tar.gz cd r ...
分类:
其他好文 时间:
2018-06-14 11:44:50
阅读次数:
225
根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下属的寿险,产险,车险等30多个核心系统数据,通过实时同步复制的方式,统一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,具体需求如下:
1、 需要将核心数据从30多个系统同步到大数据平台的kafka组件。
2、 确保数据复制的实时性(秒级)和数据的准确性
3、 复制的数据需要加上时间,操作类型等标签,便于后端应用识别
4、 以生产环境的dg库作为数据的汇聚源端,减轻对生产库的影响
5、 入kafka的数据格式可灵活配置,以便更好的适配后端应用
6、 需要具备数据操作统计和数据比对功能,便于核对数据的准确性
分类:
数据库 时间:
2018-06-13 15:14:53
阅读次数:
1371
在谈到mysql主从同步前,我们先来了解下普通文件的数据同步。 普通文件的数据同步 1.NFS网络文件共享可以同步存储数据 2.samba共享--windows平台 3.定时任务或守护进程结合rsync,scp 4.inotify+rsync实时同步 5
分类:
数据库 时间:
2018-06-11 11:53:30
阅读次数:
222
4. Reader线程_使用EventHub读取事件 使用inotify监测/dev/input下文件的创建和删除 使用epoll监测有无数据上报 细节: a、fd1 = inotify_init("/dev/input") b、假设input下已经有了event0和event1 fd2 = ope ...
分类:
移动开发 时间:
2018-06-10 18:57:49
阅读次数:
243