solr除了利用solrj建立索引外,还可以由列式数据库hbase触发器添加索引,自动全量或者增量索引关系数据库数据等. dataimport可以配置从任何关系数据库导入索引 1.将jar包拷贝到tomcat/webapps/solr/web-inf/lib下面 mysql-connector-ja ...
分类：
其他好文 时间：
2017-05-24 16:03:02
阅读次数：
206
转载请出自出处:http://www.cnblogs.com/hd3013779515/ 1.创建MySQL数据 create database solr; use solr; DROP TABLE IF EXISTS student; CREATE TABLE student ( id char(... ...
分类：
数据库 时间：
2017-05-21 00:23:10
阅读次数：
415
ETL全量单表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 注意点： 1、数据库合并时，选择正确的数据源。 2、不要选“简易转换”。 2.1. 软件安装 1、Jdk 2、Kettle同步工具 说明： ke ...
分类：
其他好文 时间：
2017-05-19 17:47:06
阅读次数：
140
凉拌！！！ 不不不，哥可是一个有追求的人，没那么容易放弃的！ 所以我选择用中国全量镜像，https://pkg.phpcomposer.com/ 使用方法： 对,就是命令行方法，我最喜欢的方法！！！ wow，真的很给力，而且速度很快，没看错你！！！有图为证！！！ ...
分类：
其他好文 时间：
2017-05-14 21:45:38
阅读次数：
144
本篇文章主要讲如何使用shell实现mysql全量，增量备份。增量备份在周一-周六凌晨3点，会复制mysql-bin.00000*到指定目录；而全量备份则使用mysqldump将所有的数据库导出，每周日凌晨3点执，并会删除上周留下的mysq-bin.00000*。然后对mysql的备份操作会保留在bak.log文件中。如..
分类：
数据库 时间：
2017-05-12 22:22:43
阅读次数：
237
搭建高可用mongodb集群（二）—— 副本集 在上一篇文章《搭建高可用MongoDB集群（一）——配置MongoDB》 提到了几个问题还没有解决。 主节点挂了能否自动切换连接？目前需要手工切换。 主节点的读写压力过大如何解决？ 从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？ 数据 ...
分类：
数据库 时间：
2017-05-10 18:54:29
阅读次数：
304
搭建高可用mongodb集群（四）—— 分片 按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决： 从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？ 数据压力大到机器支撑不了的时候能否做到自动扩展？ 在系统早期，数据量还小的时候不会引起太大的 ...
分类：
数据库 时间：
2017-05-10 18:49:55
阅读次数：
263
引： ods有个project表来自于上游系统，数据量不大 十几万，下游系统须要此数据，而且须要每天提供截止当天的增量数据 要求每条数据给出数据变化时间及标示，即数据若是插入 有插入时间和插入标示 若是改动 有改动时间和改动标示 若是删除需逻辑删除、有删除标示且有删除时间 解决： kettle的转换 ...
分类：
其他好文 时间：
2017-05-06 22:58:37
阅读次数：
1614
rsync介绍rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息、实现数据的备份迁移特性。Rsync软件适用于unlx、linux、windows等多种操作系统平台。可以实现本地或者异地备份rsync包含的功能1、..
分类：
系统相关 时间：
2017-05-05 23:04:56
阅读次数：
197
首先请允许我这样说，作为开发或测试，你一定要具备这种本领。你可以手动打包、部署你的工程，但这不是最好的方法。最好的方式就是全自动化的方式。开发人员提交了代码后，可以自动构建、打包、部署到测试环境。测试通过后进入到模拟环境或是直接发布的生产环境，这个过程可以是全自动的。但这个自动化的方式有一些公司用到 ...
分类：
其他好文 时间：
2017-05-04 11:05:41
阅读次数：
219
