鲁春利的工作笔记，谁说程序员不能有文艺范？MapReduce中maptask任务的数量是由spli分片决定，那么reducetask的数量由什么来确定的呢？就是这里要讨论的MapReduce分区。默认情况下，MapReduce中使用的是HashPartitioner。/**Partitionkeysbytheir{@linkObject#hashCode()}.*/
p..
分类：
其他好文 时间：
2015-12-06 01:56:37
阅读次数：
428
这几天在研究如何用统计方法来发现新词，扩充自己的词典。看到了几篇很有想法的文章，作者阐述了一下思路。文章里面的数据，我计算了一下，发现文有很多数据不够严谨，最主要的问题，并没有给出很详细的理论方面的说明。结合作者的思路，我进行了如下数学模型的构建和算法的实现。一、概念介绍1、词语分片设一个文档集.....
分类：
编程语言 时间：
2015-12-03 00:15:40
阅读次数：
463
一步步来1.下载软件Elasticsearch:https://download.elasticsearch.org/...p/elasticsearch/2.0.0/elasticsearch-2.0.0.zipLogstash:https://download.elastic.co/logsta...
1、Kibana4 dashboard无法保存拖动的visualization位置原因：程序bug，json部分未能及时保存拖动的情况解决方法：手动在设置中，手动编辑dashboard的json，调整排序参考：https://github.com/elastic/kibana/issues/3328...
分类：
其他好文 时间：
2015-11-27 12:52:03
阅读次数：
900
CREATE OR REPLACE PACKAGE qms_rpt_operating_station_pub AS/******************************************************************************NAME: qms_rpt...
分类：
其他好文 时间：
2015-11-27 10:53:46
阅读次数：
125
Elasticsearch是个开源分布式搜索引擎它的特点有分布式零配置自动发现索引自动分片索引副本机制restful风格接口多数据源自动搜索负载等。Logstash是一个完全开源的工具他可以对你的日志进行收集、分析并将其存储供以后使用如搜索。kibana也是一个开源和免费的工具他Kibana可以..
分类：
其他好文 时间：
2015-11-24 13:03:49
阅读次数：
253
2.2.1 索引序列中的所有元素都是有编号的——从0开始递增。这些元素可以通过编号分别访问，如下例所示：>>>greeting='Hello'>>>greeting[0]'H'字符串字面值（就此而言，其他序列字面量亦可）能够直接使用索引>>>'Hello'[1]'e'2.2.2 分片编号在这里尤为重...
分类：
其他好文 时间：
2015-11-19 22:34:16
阅读次数：
209
前言：在Web应用或后台数据管理中，随着数据量的倍数增长，搜索引擎特别是全文搜索引擎的应用越来越迫切。基于技术和成本考虑，我们不可能去开发一个搜索引擎以满足我们的需求，庆幸的是业界已有许多优秀的开源搜索引擎可供我们使用，Elasticsearch便是其中之一。简介：Elastic..
分类：
其他好文 时间：
2015-11-18 16:50:16
阅读次数：
166
组成部分 Shuffle阶段分为两部分:Map端和Reduce端。 Sort阶段就是对Map端输出的key进行排序。 第一部分:Map端Shuffle 对于输入文件，会进行分片，对于一个split，有一个map任务进行处理，每个Map在内存中都有一个缓存区，map的输...
分类：
其他好文 时间：
2015-11-18 14:05:48
阅读次数：
174
TCP segment of a reassembled PDU 抓包发现一个TCP segment of a reassembled PDU,搜了一下blog，找到一些博友的文章，很好地解决了我的问题，遂分享 “TCP segment of a reassembled PDU”指的不是IP层的分片...
分类：
其他好文 时间：
2015-11-17 19:03:40
阅读次数：
798
