HDFS 分布式文件系统
Namenode
Secondarynode
Datanode
MapReduce 分布式计算框架
JobTracker
TaskTracker
Map Task
Reducer Task
Yarn 集群资源管理系统
Resourcemanager
Nodemanager
ApplicationMaste...
分类：
其他好文 时间：
2018-03-06 17:06:54
阅读次数：
175
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。 因此Spark如何向HBase中写数据就成为很 ...
分类：
其他好文 时间：
2018-03-01 00:45:06
阅读次数：
660
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2018-02-23 10:44:33
阅读次数：
205
Spark是时下非常热门的大数据计算框架，以其卓越的性能优势、独特的架构、易用的用户接口和丰富的分析计算库，正在工业界获得越来越广泛的应用。与Hadoop、HBase生态圈的众多项目一样，Spark的运行离不开JVM的支持。由于Spark立足于内存计算，常常需要在内存中存放大量数据，因此也更依赖JV ...
分类：
其他好文 时间：
2018-02-21 10:42:43
阅读次数：
239
1、单应用单服务器； 2、单应用拆分成多个应用并部署到多个服务器； 3、单应用拆分成多个应用并实现分布式部署； 4、流动计算框架（用于提高机器利用率的资源调度和治理中心）。 ...
分类：
其他好文 时间：
2018-02-05 20:00:50
阅读次数：
140
1、学习背景 之前做一个根据wifi点位实时计算个人的轨迹的应用，使用Hbase, 尽管做了些优化，但是在计算性能上仍然不能满足需求，当时考虑是否可以用分布内存计算框架来解决，不过项目后来由于数据来源问题搁置也就没再继续，但是ignite进入视野，我想这么牛的东西一定得学学^_^。 2、学习资源 中 ...
分类：
其他好文 时间：
2018-02-05 00:29:05
阅读次数：
1318
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YAR ...
分类：
其他好文 时间：
2018-02-02 23:18:29
阅读次数：
198
一.概念 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对 ...
分类：
其他好文 时间：
2018-02-02 21:48:48
阅读次数：
186
Druid 是什么 Druid 单词来源于西方古罗马的神话人物，中文常常翻译成德鲁伊。 本问介绍的Druid 是一个分布式的支持实时分析的数据存储系统（Data Store）。美国广告技术公司MetaMarkets 于2011 年创建了Druid 项目，并且于2012 年晚期开源了Druid 项目。 ...
分类：
其他好文 时间：
2018-01-30 16:53:31
阅读次数：
177
Spark 安装配置与示例 Spark，它是大规模数据处理通用的并行化计算框架，基于MapReduce实现分布式计算，其中间结果可以保存在内存中，从而不再需要读写HDFS。Spark 是 Scala 语言实现的， Scala 也被用作其应用程序框架,Spark 和 Scala 能够紧密集成，Scal ...
分类：
其他好文 时间：
2018-01-29 19:14:52
阅读次数：
211
