原文地址：https://dblab.xmu.edu.cn/blog/290-2/ Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件之一，如果已经安装了Hadoop，其中就已经包含了HDFS组件，不需要另外安装。 在学习HDF ...
分类：
其他好文 时间：
2018-08-24 22:57:21
阅读次数：
742
1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景？ Hadoop：基于分布式文件系统HDFS的分布式批处理计算框架，适用于数据量大、SPMD（单程序多数据）的应用 Spark：基于内存计算的并行计算框架，适用于需要迭代多轮计算的应用 MPI：基于消息传递的 ...
分类：
其他好文 时间：
2018-08-21 21:10:07
阅读次数：
194
一、spark的三种提交模式 1、第一种，Spark内核架构，即standalone模式，基于Spark自己的Master-Worker集群。 2、第二种，基于YARN的yarn-cluster模式。 3、第三种，基于YARN的yarn-client模式。 如果，你要切换到第二种和第三种模式，在提交 ...
分类：
其他好文 时间：
2018-08-21 15:09:19
阅读次数：
309
这段程序没有验证，应该不会有问题。 是HA与updateStateByKey相结合的程序。 1.程序 ...
分类：
其他好文 时间：
2018-08-15 21:36:37
阅读次数：
179
Cloudera Manager Cloudera Manager 分为两个部分：CDH和CM。 CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDF ...
分类：
其他好文 时间：
2018-08-09 23:16:00
阅读次数：
291
Google大数据技术：MapReduce、BigTable、GFS Hadoop：一个模仿Google大数据技术的开源实现 ? HDFS的概念 数据块 磁盘中的关系： ? HDFS同样也有块（block）的概念，但是大很多，默认为64MB。与单一磁盘上的文件系统相似，HDFS上的文件也被划分为块大 ...
分类：
其他好文 时间：
2018-08-08 21:23:09
阅读次数：
151
在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”） ...
分类：
其他好文 时间：
2018-08-07 13:01:28
阅读次数：
668
MapReduce入门程序：WordCount hadoop的share目录下 创建一个HDFS数据目录，用于保存mapreduce的输入文件 创建一个目录，用于保存mapreduce的任务输出文件 创建一个单词文件，并上传到HDFS上面 上传该文件到HDFS上在文件所在目录下， 运行wordcou ...
分类：
其他好文 时间：
2018-08-03 21:19:45
阅读次数：
167
hbase建表时，支持预分区，在shell中操作： 需要注意的是，表t1建立4个分区：[min,'10')，['10','20')，['20','30')，['30',max) 插入数据之后，数据可能还在内存，没有刷到hdfs，做下操作： 从hbase管理界面查看数据文件： 查看hdfs上t1的re ...
分类：
其他好文 时间：
2018-07-29 18:56:35
阅读次数：
232
