最近做日志分析，发现logstash较符合自己的需求，Logstash:做系统log收集，转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助。一般使用shipper作为log收集、indexer作为log转载。Logstashshipper收集log并将log转发给redis存储Logstashindexer从redis中读..
分类：
其他好文 时间：
2015-04-09 17:52:55
阅读次数：
524
优化时机一般单表超过500万左右，或明显感觉到性能下降时，需要优化优化方案
读写分离
使用缓存，如memcached或Redis
使用搜索引擎，如ElasticSearch或solr
分库分表
详细说明
读写分离很容易实现，建议在一开始做，不必等到性能下降时
发现性能下降时可做。比如有一张500万大表，不可能缓存全表，只能缓存热点数据，所以需要有一个监控热点数据的功能
像缓存整个大表或者数据量很大可...
分类：
数据库 时间：
2015-04-09 08:59:05
阅读次数：
119
for((i=91;i>=1;i--));
do
dt=`date +‘%Y%m%d‘ -d"-${i} days"`;
if [ "$dt" = "20150309" ]; then
break;
fi
SQL=‘SELECT `id` FROM `l_pro_index_‘${dt}‘` ORDER BY `id` ASC LIMIT 1;‘
...
分类：
数据库 时间：
2015-04-08 20:04:04
阅读次数：
169
由于最近不断有客户提到crm老系统数据迁移的问题，为了切实帮助大家解决这个实际困难。本技术组近期将分批写出处理办法。今天我们先介绍一下5x系统的评论信息如何迁移到7x新系统。关于老系统评论导入新系统的解决办法问题描述：5x系统的各个模块中带的评论信息，保存在ec_modco..
分类：
其他好文 时间：
2015-04-08 19:59:42
阅读次数：
170
环境迁移准备开启数据库归档模式检查数据库是否已经开启归档模式SQL>selectlog_modefromv$database;LOG_MODE------------ARCHIVELOG（如果为非归档模式需要开启归档模式）在源库中创建backup表并插入一条数据，以便确认迁移是否成功SQL>createtablebackup(idnumber,namev..
分类：
数据库 时间：
2015-04-08 16:46:29
阅读次数：
346
inner_hits文档：http://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-inner-hits.html#parent-child-inner-hits
（ElasticSearch 1.50+ 可用）
在使用搜索“has-child”搜索父文档时，一般情况只...
分类：
其他好文 时间：
2015-04-08 13:09:53
阅读次数：
2298
1、安装就不说了，下载就能用 2、遇到一个查询词的出现频率问题，先直接贴代码: ?? ???? client = fatory.client(); ?? ??? ?TermVectorRequestBuilder requestBuilder =null; ?? ??? ?TermVec...
分类：
其他好文 时间：
2015-04-08 11:15:26
阅读次数：
137
sqlldr数据迁移--oracle txt导入导出http://coupling001.blog.163.com/blog/static/174925389201262093959635/一、sqlldr导入txt1.预备a).txt文件这里要保存成无签名的UTF-8b).oracle建表2.编写...
分类：
数据库 时间：
2015-04-08 10:34:39
阅读次数：
319
利用AMP(Alibaba Migration Platfrom)神器轻松把Oracle数据库中的数据迁移到MySQL数据库...
分类：
数据库 时间：
2015-04-07 23:32:18
阅读次数：
330
ElasticSearch是一个强大的搜索服务器，基于Apache
Lucene的全文搜索引擎开发，具有高性能、分布式和零配置的优点。在当前的项目中，我们希望ES能承担亿级文档的搜索，而ES也证明了即便面对这样的数据规模，也能实现十分迅速的搜索响应。
概念
节点（Node）：节点是一个ES的实例，一般一台主机上部署一个节点-集群（Cluster）：集群由若干节点组成，和任意节点...
分类：
其他好文 时间：
2015-04-06 21:56:28
阅读次数：
208
