前言一个成熟的大型网站(如淘宝、京东等)的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性,它总是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随业务扩...
分类:
Web程序 时间:
2014-10-24 10:41:14
阅读次数:
155
怎样处理海量数据在实际的工作环境下,很多人会遇到海量数据这个复杂而艰巨的问题,它的主要难点有下面几个方面:一、数据量过大,数据中什么情况都可能存在。假设说有10条数据,那么大不了每条去逐一检查,人为处理,假设有上百条数据,也能够考虑,假设数据上到千万级别,甚至过亿,那不是手工能解决的了,必须通过工具...
分类:
其他好文 时间:
2014-10-23 18:59:38
阅读次数:
159
自1999年创立以来,Apache软件基金会如今已成了众多重要的开源软件项目之家。其中成功的项目有Geronimo,有Tomcat,有Hadoop,有如今成了大数据王国关键车毂的分布式计算系统。 虽然Apache没有去维护有关下载量的完备统计数字,但是像Apache HTTP Server,已成为....
分类:
Web程序 时间:
2014-10-23 16:04:35
阅读次数:
367
需求在检索系统中,遇到了分组统计(Grouping/GroupBy)的需求,比如将搜索结果按照栏目分类,统计每个栏目下各有多少条结果。以前的做法很愚蠢,先发起一次search统计出有多少组,然后在每个组里发起一次search;这样在有N组的情况下一共执行了N+1此搜索,效率低下。改进最近发现Luce...
分类:
Web程序 时间:
2014-10-23 14:21:07
阅读次数:
184
Solr4.8.0源码分析(13)之LuceneCore的索引修复题记:今天在公司研究elasticsearch,突然看到一篇博客说elasticsearch具有索引修复功能,顿感好奇,于是点进去看了下,发现原来是Lucene Core自带的功能,于是就回家先学习下,正好也跟之前看的索引文件的格式相...
分类:
Web程序 时间:
2014-10-23 01:21:15
阅读次数:
231
前言系统一大,就会拆分成多个独立的进程,比如web+wcf/web api等,也就成了分布式系统。要看一个请求怎么从头到尾走的,就有些困难了,要是进行DEBUG、跟踪,就更加麻烦了,困难程度要视进程多少而定,越多越复杂。分布式日志收集系统就登场了。今天介绍一款全开源日志收集、展示系统 - logst...
分类:
其他好文 时间:
2014-10-23 01:15:25
阅读次数:
237
问题是这样的:已有若干multivalued 字段, 需要统计出 multivalued 字段中数目。比如*DOC1*1----------------------*DOC2*134------------------------*DOC3*12-------------如何可以查询出 multi ...
分类:
其他好文 时间:
2014-10-22 19:53:49
阅读次数:
165
schema.xml配置介绍如下:常见的元素有以下几种:参考文档:http://wiki.apache.org/solr/上面xml格式官方介绍如下:The schema.xml file contains all of the details about which fields your doc...
分类:
其他好文 时间:
2014-10-22 17:12:52
阅读次数:
161
范例:http://blog.csdn.net/jyf211314/article/details/17503997同义词词典:import java.io.IOException; import java.io.Reader; import java.util.HashMap; ...
分类:
Web程序 时间:
2014-10-22 06:17:13
阅读次数:
185
1、方法一,通过Term删除
Term构造中没有,Int类型需要转换成Lucene自带的类BytesRef 。
/**
* 根据商品ID删除索引文件
* @param id
*/
public void deleteDocument(int id)
{;
File file = new File("E...
分类:
Web程序 时间:
2014-10-21 19:43:33
阅读次数:
178