JobSplitWriter被作业客户端用于写分片相关文件，包括分片数据文件job.split和分片元数据信息文件job.splitmetainfo。分片数据文件job.split存储的主要是每个分片对应的HDFS文件路径，和其在HDFS文件中的起始位置、长度等信息，而分片元数据信息文件job.splitmetainfo存储的则是每个分片在分片数据文件job.split中的起始位置、长度等信息。...
分类：
其他好文 时间：
2016-04-21 10:25:08
阅读次数：
185
这篇文章主要记录一下CentOS 7.1下安装配置Elasticsearch和Storm。 安装Oracle JDK，这个可以参照我之前写的文章。 安装Elasticsearch 到https://www.elastic.co/downloads/elasticsearch下载Elasticsear... ...
分类：
其他好文 时间：
2016-04-20 21:36:31
阅读次数：
524
在数据量较大或请求量较大,直接建立索引对性能有显著影响时,可以利用复制集(数据量较大时一般为线上环境,使用复制集为必然选择或者使用分片.)中部分机器宕机不影响复制集工作的特性,继而建立索引。备注：添加索引的表使用WT引擎，数据量有1.5亿左右。1.副本集配置参数节点1：$m..
分类：
数据库 时间：
2016-04-19 20:15:00
阅读次数：
2363
下载ES介质https://www.elastic.co/guide/index.html 下载tar包，放到linux服务器，解压tar包 $ tar -zxvf elasticsearch-2.3.1.tar.gz 进入bin目录$cd elasticsearch-2.3.1/bin 启动 $. ...
分类：
其他好文 时间：
2016-04-19 18:50:18
阅读次数：
135
Mongodb启动命令mongod参数说明mongod的主要参数有： 基本配置 * Replicaton 参数 * 主/从参数 * Replica set(副本集)选项： * Sharding(分片)选项 # 上述参数都可以写入 mongod.conf 配置文档里例如：dbpath = /data/ ...
分类：
数据库 时间：
2016-04-19 13:45:45
阅读次数：
257
ElasticSearch是一个开源的分布式搜索引擎。 下载 下载地址： https://www.elastic.co/downloads/elasticsearch 当前版本：Elasticsearch 2.1.1 JAVA环境配置 下载java jdk： http://download.orac ...
在上一篇文章中介绍了缓冲区内部对于状态变化的跟踪机制，而对于NIO中缓冲区来说，还有很多的内容值的学习，如缓冲区的分片与数据共享，只读缓冲区等。在本文中我们来看一下缓冲区一些更细节的内容。 缓冲区的分配 在前面的几个例子中，我们已经看过了，在创建一个缓冲区对象时，会调用静态方法allocate()来 ...
分类：
编程语言 时间：
2016-04-18 15:27:33
阅读次数：
241
ICMP在IP系统间传递差错和管理报文，是不论什么IP实现必须和要求的组成部分。能够把ICMP分成两类：差错和查询。查询报文 是用一对请求和回答定义的。差错报文通常包括了引起错误的IP包的第一个分片的IP首部（和选项），加上该分片数据部分 的前8个字节。 下图显示了全部眼下定义的ICMP报文。双线上 ...
分类：
Web程序 时间：
2016-04-16 16:59:34
阅读次数：
216
部署环境： centos 6.X jdk 1.7 elasticsearch 2.3.1 https://www.elastic.co/downloads/elasticsearch logstash 2.3.1 https://www.elastic.co/downloads/logstash K ...
分类：
其他好文 时间：
2016-04-15 13:42:24
阅读次数：
688
需求对一个特定的文件进行分片发送，构造数据包，发送数据包，接收数据包并提取有效数据，对数据组合还原为原文件。设计当前，基于socket的网络编程已成为当今不可替代的编程方法，它将网络通讯当作文件描述符进行处理，把对这个“网络文件”（即socket套接字）的操作抽象成一种类似于文件操作的方式进行。从实现细节上，这种工作方式根据TCP/IP的网络通讯模型，封装了一系列的实现，使得我们只需要使用一个指定的...
分类：
其他好文 时间：
2016-04-15 12:16:17
阅读次数：
265
