本文描述了如何安装、配置和管理有实际意义的Hadoop集群，安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里一台机器被指定为 NameNode，另一台不同的机器被指定为DataNode。 ...
分类：
其他好文 时间：
2018-11-14 14:14:01
阅读次数：
238
情景再现： 在修复hadoop集群某一个datanode无法启动的问题时，搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录，再重新单独启动该datanode即可； 问题就出在这个误删除上，当时是在namenode的hadoop/hdfs/目录下，然后就执行了 ...
分类：
其他好文 时间：
2018-11-12 15:44:33
阅读次数：
301
一、Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一 ...
分类：
其他好文 时间：
2018-11-10 18:02:29
阅读次数：
236
用命令-put上传文件 报错0 datanode(s) running 原因是进行了多次格式化 解决办法： 停止集群 删除在hdfs中配置的data目录（即在core-site.xml中配置的hadoop.tmp.dir对应文件件）下面的所有数据; 重新格式化namenode(切换到hadoop目录 ...
分类：
Web程序 时间：
2018-11-08 23:16:14
阅读次数：
260
问题： 搭建伪Hadoop集群的时候，运行命令： 格式化或者说初始化namenode。 然后用命令： 来启动hdfs时，jps发现datanode先是启动了一下，然后就挂掉了，在http://192.168.195.128:50070 （HDFS管理界面）也看不到datanode的信息。 然后去da ...
分类：
其他好文 时间：
2018-11-03 16:32:16
阅读次数：
257
在安装和测试HBase之前，我们有必要先了解一下HBase是什么 我们可以通过下面的资料对其有一定的了解： HBase 官方文档中文版 HBase 深入浅出 我想把我知道的分享给大家，方便大家交流。 ...
分类：
其他好文 时间：
2018-11-02 17:19:46
阅读次数：
204
此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 配置MyCat 4. 配置schema.xml schema.xml里面管理着MyCat的逻辑库、表，每张表使用的分片规则、分布在哪个DataNode以及DataSource上。 之前的例子： ```xml< ...
分类：
数据库 时间：
2018-11-01 15:10:53
阅读次数：
220
此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 配置MyCat 4. 配置schema.xml schema.xml里面管理着MyCat的逻辑库、表，每张表使用的分片规则、分布在哪个DataNode以及DataSource上。 之前的例子： ```xml< ...
分类：
数据库 时间：
2018-11-01 15:10:04
阅读次数：
148
1、limit限制调整 一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。 有一个配置属性可以开启，避免这种情况 对数据源进行抽样 hive.limit.optimize.enable=true 开启对数据源进行采样的功能 hive.limit.row.max.size 设置最 ...
分类：
其他好文 时间：
2018-10-22 13:03:47
阅读次数：
274
HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布式文件系统。HDFS架构中有两类节点，一类是NameNode，又叫“元数据节点”，另一类是DataNode，又叫“数据节点”，分别执 ...
分类：
其他好文 时间：
2018-10-22 13:03:39
阅读次数：
177
