在hadoop1.2.1的安装说明中有说明要预先安装java，我安装了好多版本的java以及好多版本的hadoop，然后发现oracle-java7与hadoop1.2.1是可以匹配的。
一，安装具体步骤如下：
1. 安装java： sudo apt-get install oracle-java7-installer
2. 安装hadoop1.2.1： http://hadoop....
分类：
其他好文 时间：
2014-07-11 00:31:01
阅读次数：
265
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？
首先让我们看几个基本的消息系统术语：
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumers.
Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker....
分类：
其他好文 时间：
2014-07-11 00:01:24
阅读次数：
197
tair 是淘宝自己开发的一个分布式 key/value 存储引擎. tair 分为持久化和非持久化两种使用方式. 非持久化的 tair 可以看成是一个分布式缓存. 持久化的 tair 将数据存放于磁盘中. 为了解决磁盘损坏导致数据丢失, tair 可以配置数据的备份数目, tair 自动将一份数据的不同备份放到不同的主机上, 当有主机发生异常, 无法正常提供服务的时候, 其余的备份会继续提供服务.
目录
1. 简介
2. 安装步骤及问题小记
3. 部署配置
4. Java客户端测试
5. 参考资料...
分类：
编程语言 时间：
2014-07-10 22:48:57
阅读次数：
401
上篇以一个 demo 示例介绍了 Eureka 的 Application Service 客户端角色。今天我们继续了解 Eureka 的 Application Client 客户端，以一个简单的交互示例，介绍 Application Client 是如何使用 Eureka 获取 Application Service 实例并发送请求的。...
分类：
移动开发 时间：
2014-07-10 21:41:59
阅读次数：
365
Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。...
分类：
数据库 时间：
2014-07-10 21:14:38
阅读次数：
737
The Google File System中文版译者：alex摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。虽然GFS的设计目标与许多传...
分类：
其他好文 时间：
2014-07-10 17:02:08
阅读次数：
289
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，MapReduce来实现分布式并行任务处理的程序支持。HDFSHDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个Data...
分类：
其他好文 时间：
2014-07-10 15:36:19
阅读次数：
204
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 图 1 Hadoop生态系统图由图可知，hadoop生态系统包括以下成员：① 各种浏览器，产生海量的Web数据；② Nutch项目，一个快速搜索海量网页的开源项目③ HDFS，Hadoop分布式文件系统，大数据的存储系...
分类：
其他好文 时间：
2014-07-10 15:32:23
阅读次数：
189
《NoSQL精粹》思维导图读书笔记 各主题笔记 这本书短小精悍，虽不能解答所有NoSQL疑问，但在读书过程中会抛给你不少未曾想过的问题，给人以更深入的思考； 这里对每一个主题分别做了笔记； 详见以下博客文章： NoSQL系列：选择合适的数据库 NoSQL聚合数据模型 NoSQL数据库的分布式模型 N...
分类：
数据库 时间：
2014-07-10 15:22:31
阅读次数：
402
现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统（HDFS），但 Hadoop 下的Common 、Avro、 Chukwa、Hive 、HBase等子项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。以...
分类：
其他好文 时间：
2014-07-10 14:57:00
阅读次数：
333
