MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可MariaDB的目的是完全兼容MySQL,包括API和命令行,MySQL由于现在闭源了,而能轻松成为MySQL的代替品.在存储引擎方面,使用XtraDB来代替MySQL的InnoDB,MariaDB由MySQ ...
分类：
数据库 时间：
2018-12-30 19:01:27
阅读次数：
203
上次虽然把环境搭好了，但是实际运行起来一堆错误，下面简述一下踩的坑。 1、hadoop fs -put上传文件失败 报错信息：（test文件夹是已经成功建好的） Linux报的错误是datanode节点不存在，但是去slave机器上jps发现datanode运行的好好的。然后去网上查找资料，有博客说 ...
分类：
其他好文 时间：
2018-12-27 15:28:15
阅读次数：
341
shuffle阶段其实就是多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。 Map端： 1、在map端首先接触的是InputSplit，在InputSplit中含有DataNode中的数据，每一个InputSplit都会分配一个Mapper任务，Mapper任务结束 ...
分类：
其他好文 时间：
2018-12-21 15:24:10
阅读次数：
212
Hadoop 的端口 50070 > http port namenode 50075 > http port datanode 50090 > http port secondaryNamenode 50010 > rpc port namenode 8020 > rpc port datanod ...
分类：
其他好文 时间：
2018-12-21 13:20:15
阅读次数：
180
1.分布式文件系统存储副本的方式 1).客户端负责写所有副本。例如每个block要存3个副本，客户端要将3个副本都存到DataNode上才算成功 2).客户端是负责写一个副本。剩下的副本由NameNode负责，DataNode向其他DataNode复制（形成一个管道），复制和客户端写block是异步 ...
分类：
其他好文 时间：
2018-12-20 19:00:49
阅读次数：
146
大数据概念 大数据(big data,mega data)，或称巨量资料。比如TB、PB级别的数据。 5V volume 大量 velocity 高速 variet 多样 value 价值密度低 veracity 真实 大数据价值 数据量达到一定程度，数据本身也可以说话，数据被誉为新的生产力 当数据 ...
分类：
其他好文 时间：
2018-12-20 14:25:43
阅读次数：
161
1概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点NN=NameNode（名称节点）SND=SecondaryNameNode（NameNode的辅助节点）DN=DataNode（数据节点）2
分类：
其他好文 时间：
2018-12-18 13:58:09
阅读次数：
195
问题： 配置Hadoop集群时，一个节点的DataNode无法启动 排查： 查看hadoop-root-datanode-bigdata114.log文件，错误信息如下： java.io.IOException: Incompatible clusterIDs in /root/training/h ...
分类：
编程语言 时间：
2018-12-18 02:22:39
阅读次数：
250
HDFS 架构图 HDFS 服务功能 NameNode NameNode是主节点，存储文件的元数据如文件名，文件目录，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 DataNode DataNode在本地文件系统存储文件块数据，以及块数据的校验和。 Se ...
分类：
其他好文 时间：
2018-12-16 23:38:50
阅读次数：
183
大数据生态之 HDFS HDFS工作机制 客户端上传文件时，一方面由datanode存储文件内容，另一方面有namenode负责管理block信息（切块大小，副本数量，位于datanode上的位置信息） 一丶namenode的工作职责： a) 文件的路径 b) 文件的副本数量 c) 文件切块大小 d ...
分类：
其他好文 时间：
2018-12-16 19:33:16
阅读次数：
156
