1、RDD 只读的分区数据集合。2、RDD的依赖关系，生成RDD的血统。3、RDD支持基于工作集的运用。可以显性的将数据存储在内存中，可以支持高效数据重用。4、RDD是分布式数据编程的一种抽象5、RDD的特征a list of partitions（hdfs的一个分片就是一个partition，每个...
分类：
其他好文 时间：
2015-12-28 20:14:57
阅读次数：
186
其实对于我们一般理解的计算机内存，它算是CPU与计算机打交道最频繁的区域，所有数据都是先经过硬盘至内存，然后由CPU再从内存中获取数据进行处理，又将数据保存到内存，通过分页或分片技术将内存中的数据再flush至硬盘。那JVM的内存结构到底是如何呢？JVM做为一个运行在操作系统上，但又独立于os运行的...
分类：
其他好文 时间：
2015-12-28 00:51:00
阅读次数：
121
这个过程分为以下 5 个步骤：步骤 1 作业提交与初始化。用户提交作业后，首先由 JobClient 实例将作业相关信 息，比如将程序 jar 包、作业配置文件、分片元信息文件等上传到分布式文件系统（一般为HDFS）上，其中，分片元信息文件记录了每个输入分片的逻辑位置信息。然...
分类：
其他好文 时间：
2015-12-21 23:35:12
阅读次数：
412
写此文章和就是为了记录logstash+elasticsearch+kibana+redis搭建过程。所有程序都是运行在windows 平台下。1. 下载 1.1 logstash, elasticsearch, kinana 从官方站点下载:https://www.elastic.co/ 1......
分类：
其他好文 时间：
2015-12-18 18:53:01
阅读次数：
185
mysql cluster是基于ndb存储引擎。 整体分为三大部分，管理节点，存储节点，sql节点。 管理节点用于管理整个集群；存储节点及ndb节点，用来存储数据；sql节点则负责接收客户端的sql请求。 mysql cluster 特性如下性能和扩展能力自动分片数据库自动、透明地分布...
分类：
数据库 时间：
2015-12-16 15:42:32
阅读次数：
232
一、Redis集群 Redis的集群实现是内置数据自动分片机制，集群内部将所有的key映射到16384个Slot中，集群中的每个Redis Instance负责其中的一部分的Slot的读写。集群客户端连接集群中任一Redis Instance即可发送命令，当Redis Instance收到自己不负责...
分类：
其他好文 时间：
2015-12-15 22:47:19
阅读次数：
250
转自：http://blog.csdn.net/androidlushangderen/article/details/41172865Partition的中文意思就是分区，分片的意思，这个阶段也是整个MapReduce过程的第三个阶段，就在Map任务的后面，他的作用就是使key分到通过一定的分区算...
分类：
其他好文 时间：
2015-12-14 01:18:10
阅读次数：
305
在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。1.如何控制实际运行的map任务个数我们知道，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小..
分类：
其他好文 时间：
2015-12-10 09:32:17
阅读次数：
163
1.概述Elastic Search 是一个基于Lucene构建的开源，分布式搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引2 、环境介绍与安装准备 1、环境说明 MAC OS X 10.10.95 2、安装准备 ...
分类：
其他好文 时间：
2015-12-09 11:44:56
阅读次数：
253
