在上一篇中简略的说了一下es同步数据脚本的大致情况，但是实际情况里肯定不会像上一篇里面的脚本那么简单。比如目前我就有三张表，两张实体表，一张关联表。大致实现如下： bin目录建立一个statefile.json文件： 主要是lastexecutionstart设置为0，为了让第一次执行能进行一次全量 ...
分类：
数据库 时间：
2016-05-13 19:00:41
阅读次数：
506
solr索引设置完成后，需要根据数据库的变化及时更新索引，索引的更新有两种方式，全量更新和增量更新。顾名思义，全量更新即删除solr服务器上的所有索引，然后重新导入数据，增量索引即只更新修改的数据，本篇文章介绍全量索引更新。...
分类：
其他好文 时间：
2016-05-12 23:15:11
阅读次数：
187
上篇文章我们介绍了全量更新solr索引，但是在数据量较大时，频繁的更新索引会消耗系统性能，如果更新频率较低，则会影响短时的数据准确性，所以，更新时间的间隔是个很难界定。增量索引解决了这个问题，我们可以在较短的时间内只更新那些变化的数据，这样就避免了大批量的数据更新，因为数据量小，我们可以设置较短的时间间隔，大幅度的提高了用户体验度。本文介绍增量索引。...
分类：
其他好文 时间：
2016-05-12 17:49:55
阅读次数：
473
一、Xtrabackup简单概述： Percona Xtrabackup是开源免费的MySQL数据库热备份软件，它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）。XtraBackup支持所有的Percona Server、MySQL、MariaDB ...
分类：
数据库 时间：
2016-05-12 06:55:25
阅读次数：
346
综述： 用两台服务器，每台服务器上启动两个solr实例(端口分别为8983、7574)，即一共有2x2=4个节点。4个节点分散在两个分片上，每台机器上存放两个分片的各一个replica，这样等于每台机器上的数据都是全量的，即使一台down掉，另一台仍能够提供服务。 需要一个zookeeper用来做分 ...
分类：
其他好文 时间：
2016-05-11 13:30:59
阅读次数：
148
淘宝 NPM 镜像：http://npm.taobao.org/ 这是一个完整 npmjs.org 镜像，你可以用此代替官方版本(只读)，同步频率目前为 10分钟 一次以保证尽量与官方服务同步。 当前 registry.npm.taobao.org 是从 r.cnpmjs.org 进行全量同步的. ...
分类：
其他好文 时间：
2016-05-10 09:50:08
阅读次数：
303
解读Google分布式锁服务 背景介绍 在2010年4月，Google的网页索引更新实现了实时更新，在今年的OSDI大会上，Google首次公布了有关这一技术的论文。 在此之前，Google的索引更新，采用的的批处理的方式(map/reduce)，也就是当增量数据达到一定规模之后，把增量数据和全量索 ...
分类：
其他好文 时间：
2016-04-30 14:10:33
阅读次数：
158
一、rsync基本配置及介绍1.什么是rsync?rsync（rsync—afast,versatile(通用的),remote(andlocal)file-copyingtool）一款开源的，快速的，多功能可实现全量及增量的本地或者远程数据同步备份的优秀工具可适用于多个操作系统之上。rsync具有可以使本地和远程两台主机之间的数据..
分类：
系统相关 时间：
2016-04-27 11:04:53
阅读次数：
314
开源快速多功能全量及增量本地远程已守护进程（socket）的方式传输数据rsync参数源目的SYNOPSISLocal:rsync[OPTION...]SRC...[DEST]source源dest目的Accessviaremoteshell:Pull:rsync[OPTION...][USER@]HOST:SRC...[DEST]Push:rsync[OPTION...]SRC...[USER@]HOST:DESTAccessvia..
分类：
系统相关 时间：
2016-04-14 16:11:02
阅读次数：
258
涉及的问题:
建索引时有一个字段是该词语出现的次数,这个字段是放在solr里的
而我用的是多线程来进行全量导入的,这里就涉及到了多线程问题
多个线程操作同一个变量时如何处理?
我是这样子做的 :
首先将变量本地话--分布式就放到大容器中,我这里仅仅使用了一个map来存
词和次数的关系映射
变量本地化后就是多线程的解决了--锁的设置-我仅仅是在操作时加了一个锁来解决这...
分类：
编程语言 时间：
2016-03-29 10:44:52
阅读次数：
291
