修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history ...
分类：
其他好文 时间：
2018-08-18 21:45:49
阅读次数：
216
有时候我们start-dfs.sh启动了hadoop但是发现datanode进程不存在 一、原因 当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VE ...
分类：
其他好文 时间：
2018-08-17 19:57:32
阅读次数：
203
问题 上传文件到Hadoop异常，报错信息如下： 解决 1、查看问题节点的进程情况： DataNode进程没有启动 2、进入问题节点，查看Hadoop datanode.log信息 报错的信息为，namenode clusterID 与 datanode clusterID 不一致！ 回想了下，出现 ...
分类：
Web程序 时间：
2018-08-17 15:30:02
阅读次数：
212
mysql的主从配置沿用上一篇博客的配置：https://www.cnblogs.com/MasterSword/p/9434169.html mycat下载地址：http://www.mycat.io/ 试验版本：Mycat-server-1.6-release <!-- mycat的默认用户配置 ...
分类：
数据库 时间：
2018-08-16 01:07:02
阅读次数：
284
第一步：准备n台linux服务器 我这里使用的是3台CentOS6.5版本的linux虚拟机，1个namenode节点 + 2个datanode 节点。 第二步：给3台虚拟机分配IP并修改hosts文件 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：hdp-02 对应的i ...
分类：
其他好文 时间：
2018-08-15 01:24:26
阅读次数：
161
1. 环境 主机名 ip 角色 hdp01 192.168.184.61 ResourceManager/NameNode/SecondaryNameNode hdp02 192.168.184.62 NodeManager/DataNode hdp03 192.168.184.63 NodeMan ...
分类：
其他好文 时间：
2018-08-13 16:57:52
阅读次数：
163
今天在学习hadoop启动命令的时候，先jps看了下，发现namenode、datanode都开着，所以想要先停止这些服务，结果输入命令后报错：“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pla ...
分类：
其他好文 时间：
2018-08-12 21:30:56
阅读次数：
128
一、要了解HDFS客户端写数据的过程，首先需要明白namenode和datanode namenode:主要保存数据的元数据，它维护着文件系统树及整棵树内所有的文件和目录，说的直白点就是文件目录的管理以及Block的管理，体现的是一个管理者的身份； datanode:存储并检索数据块的作用，也就是说 ...
分类：
其他好文 时间：
2018-08-12 20:15:29
阅读次数：
230
(1)关于hdfs小结 hadoop由hdfs + yarn + map/reduce组成， hdfs是数据库存储模块，主要由1台namenode和n台datanode组成的一个集群系统， datanode可以动态扩展，文件根据固定大小分块（默认为128M）， 每一块数据默认存储到3台datanod ...
分类：
编程语言 时间：
2018-08-07 16:51:24
阅读次数：
176
接着上一篇中安装hdfs后，直接在NameNode所在的服务器上安装JobTracker,而DataNode就是TaskTracker,所以只需要配置JobTracker就可以 找到NameNode所在的服务器上找到Hadoop对应的conf文件夹下，修改mapred-site.xml文件，添加Jo ...
分类：
其他好文 时间：
2018-08-05 18:06:07
阅读次数：
414
