前两天我在工作中遇到这样一个问题,我们有一个程序是用来增量抽取EBS 中的表数据的,有的是全量抽取,即先删除原表中的数据,然后重新抽取数据,示例代码如下:1 truncate table ods_emp drop storage;2 insert into ods_emp select * from...
分类:
数据库 时间:
2015-10-19 23:59:33
阅读次数:
391
SOLR文档前言因为项目中要用到solr,因此花了一周多的时间研究了一下solr,其中的各种问题我就不说了,特别是这两天在研究定时增量索引的时候,心里不知道多少个XXX在奔腾,好了,废话不多说,下面把我得研究成果跟大家分享一下,另外对于SOLR是什么,大家还是自行度娘吧,让我说我也说不清楚。版本SO...
分类:
数据库 时间:
2015-10-18 19:59:07
阅读次数:
182
kafka是为分布式环境设计的,因此如果日志文件,其实也可以理解成消息数据库,放在同一个地方,那么必然会带来可用性的下降,一挂全挂,如果全量拷贝到所有的机器上,那么数据又存在过多的冗余,而且由于每台机器的磁盘大小是有限的,所以即使有再多的机器,可处理的消息还是被磁盘所限制,无法超越当前磁盘大小.因此...
分类:
其他好文 时间:
2015-09-30 06:20:50
阅读次数:
426
目前产品有新版本,release测试通过以后,直接放到更新服务器上,做全量用户推送。当发现新版本存在测试未覆盖到的问题时,造成的影响面较大,解决问题的代价也很大。因此可以考虑引入灰度发布。
分类:
其他好文 时间:
2015-09-18 21:39:08
阅读次数:
131
从今天起不断分享我在团队中遇到的问题和想法,激励自己和团队不断成长进步。完事开头难,有想法却不知从何开始……就从今晚修改数据库密码开始。最后一次全量修改数据库密码可以追溯到3年前,连续3年不敢动数据库密码。今年交费系统需要一卡集中,面临未来业务的扩张,数据库..
分类:
数据库 时间:
2015-09-17 15:25:38
阅读次数:
170
MySQL之利用RDS管理控制台数据迁移至RDS-MySQL之利用RDS管理控制台该方法是一种MySQL的在线迁移方法,可以不停服务就能够完成数据库的迁移工作,支持MySQL5.15.5、5.6(5.0版本只支持全量迁移)的迁移。更多迁移信息可参考:如何快速平稳的迁入RDS>>迁移注意事项1)MySQL..
分类:
数据库 时间:
2015-09-16 16:05:38
阅读次数:
258
利用ant脚本 自动构建svn增量/全量 系统程序升级包
分类:
其他好文 时间:
2015-09-11 19:23:33
阅读次数:
386
solr官方给出的解决方式是:DataImportHandler is designed to stream row one-by-one. It passes a fetch size value (default: 500) to Statement#setFetchSize which som...
分类:
数据库 时间:
2015-09-11 15:35:52
阅读次数:
258
资料来源:http://www.searchtb.com/2012/09/introduction-to-storm.html Storm背景 全量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在海量数据处...
分类:
其他好文 时间:
2015-09-10 13:16:11
阅读次数:
216
eclipse 使用的是4.3版本的,sdk 使用24.3.2,这里的是一个全量包来的,就是从24.3.2 以下的版本都包括在里面了,而 adt 只找到最高 23.06 一开始还能用着,但是,因版本不对称,总是要在里面降低sdk的版本,很麻...
分类:
系统相关 时间:
2015-09-10 00:39:41
阅读次数:
174