Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序 MapR ...
分类：
其他好文 时间：
2020-07-06 15:47:59
阅读次数：
67
一.Map的原理和运行流程 Map的输入数据源是多种多样的，我们使用hdfs作为数据源。文件在hdfs上是以block(块，Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片，即Split（分片，逻辑划分，不包含具体数据，只包含这些数据的位置信息）,那么上图中 ...
分类：
其他好文 时间：
2020-07-06 14:25:24
阅读次数：
60
软件架构（software architecture）就是软件的基本结构。 合适的架构是软件成功的最重要因素之一。大型软件公司通常有专门的架构师职位（architect），只有资深程序员才可以担任。 如果一个软件开发人员，不了解软件架构的演进，会制约技术的选型和开发人员的生存、晋升空间。这里我列举了 ...
分类：
其他好文 时间：
2020-07-06 10:51:01
阅读次数：
809
CEVA引入新的可配置传感器集线器DSP架构 CEVA introduces new configurable sensor hub DSP architecture 在一个将多个传感器设计成几乎所有东西的世界中，所有数据输入的处理，或传感器融合，正在成为系统中越来越重要的一部分。为了解决这个问题， ...
分类：
其他好文 时间：
2020-07-06 10:33:26
阅读次数：
71
存储相关知识 存储 https://blog.csdn.net/pansaky/article/details/83626183 https://blog.csdn.net/hxl_1993/article/details/62896197 HDFS Ceph GFS GPFS Swift 应用场景... ...
分类：
其他好文 时间：
2020-07-05 13:41:16
阅读次数：
81
##1. 引入jar包时排除掉jar包冲突 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop-version}</version> <exc ...
分类：
其他好文 时间：
2020-07-05 13:24:51
阅读次数：
48
承接上一篇HDFS实验,学习入门课后的实验真的是以简单为主，后续估计得每个组件一一击破。 Hbase介绍 Hbase是一个分布式的、面向列的开源数据库，源于Google的一篇论文《BigTable：一个结构化的数据的分布式存储系统》。HBase中确定一个元素，需要提供表名，行，列族名，列。因为是以列 ...
分类：
其他好文 时间：
2020-07-05 10:24:53
阅读次数：
74
HDFS基本操作 hdfs dfsadmin查看命令 hdfs基本操作 查看目录 hdfs dfs -ls/ [-d] [-h] [-r] 大写 -d:将path作为一个普通文件输出文件信息 -h格式化输出文件及目录信息 -r递归列出目录下的内容 新建文件 创建 递归创建 hdfs dfs -mkd ...
分类：
其他好文 时间：
2020-07-04 17:09:04
阅读次数：
109
JVM Structure JVM Architecture Life of JVM Loading ClassLoader public class ClassLoaderTest{ public static void main(String[] args){ // 系统类加载器 ClassLo ...
分类：
其他好文 时间：
2020-07-04 16:49:21
阅读次数：
77
（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕后，申请运行mrAppMaster。（6）RM ...
分类：
其他好文 时间：
2020-07-04 15:14:37
阅读次数：
54
