码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop 学习笔记1

时间:2016-04-19 17:02:12      阅读:134      评论:0      收藏:0      [点我收藏+]

标签:

1. Hadoop 最出名的是 MapReduce和 HDFS,不过也有很多其他有用的子项目。

   技术栈如下:

 技术分享

Core

    一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC和持久化数据结构)

Avro

    一种提供高效、跨语言RPC的数据序列系统,持久化数据存储。

MapReduce

    分布式数据处理模式和执行环境,运行于大型商用机集群。

HDFS

    分布式文件系统,运行于大型商用机集群。

Pig

    一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。

Hbase

    一个分布式、列存储数据库。使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)。

ZooKeeper

    一个分布式的、高可用性的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。

Hive

    分布式数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(运行时由引擎翻译成MapReduce作业)用以查询数据。

Chukwa

    分布式数据收集和分析系统。Chukwa运行HDFS中存储数据的收集器,它使用MapReduce来生成报告。

 

2.

 

3.

 

Hadoop 学习笔记1

标签:

原文地址:http://www.cnblogs.com/skyEva/p/5408568.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!