分布式一致性hash算法简介 当你看到“分布式一致性hash算法”这个词时，第一时间可能会问，什么是分布式，什么是一致性，hash又是什么。在分析分布式一致性hash算法原理之前，我们先来了解一下这几个概念。 分布式 分布式（distributed）是指在多台不同的服务器中部署不同的服务模块，通过远... ...
分类：
编程语言 时间：
2016-06-28 23:29:18
阅读次数：
368
1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征 ...
分类：
其他好文 时间：
2016-06-27 10:32:13
阅读次数：
255
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用 ...
分类：
其他好文 时间：
2016-06-27 10:19:17
阅读次数：
179
如何产生好的词向量？ 词向量、词嵌入（word vector，word embedding）也称分布式表示（distributed representation），想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中，研究者们也提出了不少产生词向量的模型并开发成实用的工具 ...
分类：
其他好文 时间：
2016-06-26 11:38:24
阅读次数：
786
In HDFS( Hadoop Distributed File System), each data may have a lot of copies in case of data lose.This problem, every data has its own id, from 1 to n ...
分类：
其他好文 时间：
2016-06-26 00:25:57
阅读次数：
209
在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（Resilient Distributed Dataset，RDD）。它是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式编操作集合的方式，进行各种并行操作。可以将RDD理解为一个具有容错机制的特殊集合，它提供了一种只读、只能有已存在的RDD变换而来的共享内存，然后将所有数据都加载到内存中，方便进行多次重用。分布在多台机器上，计算过程中内存不够时它会和磁盘进行数据交换，实质是一种更为通用的迭代并行计算框架，用户可以显示的控制计算的中间...
分类：
其他好文 时间：
2016-06-24 15:36:23
阅读次数：
240
转自：http://blog.cloudera.com/blog/2012/05/namenode-recovery-tools-for-the-hadoop-distributed-file-system/ Warning: The procedure described below can ca ...
分类：
其他好文 时间：
2016-06-24 06:57:22
阅读次数：
454
总结一： memcache官方定义 Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding ...
分类：
系统相关 时间：
2016-06-23 20:27:09
阅读次数：
244
介绍： RDD--Resilient Distributed Dataset Spark中RDD是一个不可变的分布式对象集合。每个RDD被分为多个分区，这些分区运行在集群的不同的节点上。RDD可以包含Python、Java、Scala中的任意类型的对象，以及自定义的对象。 创建RDD的两种方法： 1 ...
分类：
其他好文 时间：
2016-06-22 23:24:26
阅读次数：
238
总结一： memcache官方定义 Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding ...
分类：
系统相关 时间：
2016-06-22 20:33:18
阅读次数：
163
