Hadoop介绍

标签：常用工具   bat   base   资源管理   mahout   mapreduce   yarn   span   spark   

一：来源

　　　　雅虎--->谷歌两篇论文GFS，mapreduce。

二：组成

　　　　hadoop common：支持其他Hadoop模块的常用工具。　

　　　  HDFS：分布式文件系统，提供对应用程序数据的高吞吐量访问。全称：Hadoop Distributed File System。

　　　　hadoop yarn：作业调度和集群资源管理的框架。

　　　　hadoop mapreduce：基于YARN的大型数据集并行处理系统。

　　　　Apache的其他Hadoop相关项目包括：Ambari?，Avro?，Cassandra?，Chukwa?，HBase?，Hive?，Mahout?，Pig?，Spark?，Tez?，ZooKeeper?。

三：hadoop是可靠的，可扩展的分布式计算软件，还有一点是高性能的，他需要其他的软件的共同来实现这个特性。

Hadoop介绍

标签：常用工具   bat   base   资源管理   mahout   mapreduce   yarn   span   spark   

原文地址：https://www.cnblogs.com/lyr999736/p/9061384.html