背景线上有很多的数据库在运行，后台需要一个分析用户行为的数据仓库。目前比较流行的是mysql和hadoop平台。现在的问题是，如何将线上的mysql数据实时的同步到hadoop中，以供分析。这篇文章就是利用tungsten-replicator来实现。环境由于tungsten-replicator依...
分类：
数据库 时间：
2014-12-18 21:56:29
阅读次数：
714
在一个场景中，需要从Solaris SPARC将数据库迁移到Linux X86-64，同时，数据库版本从原有的oracle 9i(9.2.0.5)升级到11g(11.2.0.4)使用OGG的数据同步功能，停机时间的长短主要取决于旧应用断开和新应用对外提供访问之间的切换时间。升级步骤如下：1. 目标端...
分类：
数据库 时间：
2014-12-18 18:15:06
阅读次数：
275
本案例仅适用于HDFS与MySQL之间的数据同步实现。
1、 在编译安装之前注意将release下面的setSharePath方法中的路径改为你自己的安装路径，笔者的为/home/woody/datax/libs.
2、 rpm打包之前，要修改*.spec文件中的路径，dataxpath，此外可能还需要注解掉部分赋值文件的代码，如cp –r ${OLDPWD}****.propertie...
分类：
数据库 时间：
2014-12-12 16:43:30
阅读次数：
1838
（1）尽量减少数据库直接操作。（2）如果做数据同步，当数据量过大则通过首先查询ID集合，然后通过ID可以判断本地数据是否存在，如果不存在则进行save操作存在则进行update操作，这是对于一张表数据量过大的情况，不能一次性同步所有则分段进行同步也可以。（3）如果是多表联合查询，尽量用sql语句拼接...
分类：
数据库 时间：
2014-12-10 22:38:39
阅读次数：
235
??
哈林电子会员卡系统是目前互联网首家B/S会员管理软件销售渠道，电子会员卡系统采用云计算SAAS模式，银行级安全技术措施：数据传输 SSL加密、数据存储MD5加密、多服务器分流控制、服务器数据同步、异地容灾备份等。本店为哈林电子会员卡软件淘宝官方店！本店所卖哈林所有软件以及微信会员卡功能保证是终身使用，终身售后支持！绝无任何年费！谢谢您的支持！
什么是微信会员卡？
所谓微信会员卡，是将商...
分类：
微信 时间：
2014-12-10 21:18:27
阅读次数：
355
mysql的主从是将主服务器操作记录写入二进制日志文件,然后通过mysqldump线程将日志传到从服务器中继日志中,从服务器在中继日志读取信息并执行.mysql主主架构原理和主从差不多,只是两台服务器都要开启二进制日志文件,并互相传送给对方读取日志中的内容,使数据同步.两台服务器可..
分类：
数据库 时间：
2014-12-10 18:15:54
阅读次数：
357
在MongoDB副本集中，主节点负责处理客户端的读写请求，备份节点则负责映射主节点的数据。备份节点的工作原理过程可以大致描述为，备份节点定期轮询主节点上的数据操作，然后对自己的数据副本进行这些操作，从而保证跟主节点的数据同步。至于主节点上的所有数据库状态改变的操作，都会存放在一张特定的系统表中。备份...
分类：
数据库 时间：
2014-12-10 00:27:27
阅读次数：
605
数据库A做为主服务，数据库B做为同步库（注：两边数据库库必须要一至，要不然会有不断的错误信息出来，改啊改，就是不成功）1、配置mastervi/etc/my.cnf[mysqld]server-id=1log-bin=logpathbinlog-do-db=xxxx//表示只备份xxxx这个库，可以...
分类：
数据库 时间：
2014-12-09 17:15:36
阅读次数：
191
centos6,mysql 5.5 配置 master \ slave 数据同步备份...
分类：
数据库 时间：
2014-12-09 15:46:05
阅读次数：
218
1面Objective C runtime library：Objective C的对象模型，block的底层实现结构，消息发送，消息转发，这些都需要背后C一层的描述，内存管理。Core Data：中多线程中处理大量数据同步时的操作。Multithreading：什么时候处理多线程，几种方式，优缺点...
分类：
移动开发 时间：
2014-12-08 19:27:57
阅读次数：
217
