mysql的主从配置沿用上一篇博客的配置：https://www.cnblogs.com/MasterSword/p/9434169.html mycat下载地址：http://www.mycat.io/ 试验版本：Mycat-server-1.6-release <!-- mycat的默认用户配置 ...
分类：
数据库 时间：
2018-08-16 01:07:02
阅读次数：
284
第一步：准备n台linux服务器 我这里使用的是3台CentOS6.5版本的linux虚拟机，1个namenode节点 + 2个datanode 节点。 第二步：给3台虚拟机分配IP并修改hosts文件 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：hdp-02 对应的i ...
分类：
其他好文 时间：
2018-08-15 01:24:26
阅读次数：
161
1. 环境 主机名 ip 角色 hdp01 192.168.184.61 ResourceManager/NameNode/SecondaryNameNode hdp02 192.168.184.62 NodeManager/DataNode hdp03 192.168.184.63 NodeMan ...
分类：
其他好文 时间：
2018-08-13 16:57:52
阅读次数：
163
今天在学习hadoop启动命令的时候，先jps看了下，发现namenode、datanode都开着，所以想要先停止这些服务，结果输入命令后报错：“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pla ...
分类：
其他好文 时间：
2018-08-12 21:30:56
阅读次数：
128
一、要了解HDFS客户端写数据的过程，首先需要明白namenode和datanode namenode:主要保存数据的元数据，它维护着文件系统树及整棵树内所有的文件和目录，说的直白点就是文件目录的管理以及Block的管理，体现的是一个管理者的身份； datanode:存储并检索数据块的作用，也就是说 ...
分类：
其他好文 时间：
2018-08-12 20:15:29
阅读次数：
230
(1)关于hdfs小结 hadoop由hdfs + yarn + map/reduce组成， hdfs是数据库存储模块，主要由1台namenode和n台datanode组成的一个集群系统， datanode可以动态扩展，文件根据固定大小分块（默认为128M）， 每一块数据默认存储到3台datanod ...
分类：
编程语言 时间：
2018-08-07 16:51:24
阅读次数：
176
接着上一篇中安装hdfs后，直接在NameNode所在的服务器上安装JobTracker,而DataNode就是TaskTracker,所以只需要配置JobTracker就可以 找到NameNode所在的服务器上找到Hadoop对应的conf文件夹下，修改mapred-site.xml文件，添加Jo ...
分类：
其他好文 时间：
2018-08-05 18:06:07
阅读次数：
414
hadoop 2.8.4 部署我就不说了 网上一大堆 hdfs site.xml datanode 储存路径挂载需要修改如下： 我们模拟假设你有ssd/ram disk挂载, 创建好以下目录 把一个默认[DISK]储存的文件变成[SSD]储存步骤 / 如果你想把一个目录下文件变成某种策略，也可以按照 ...
分类：
其他好文 时间：
2018-07-30 20:17:09
阅读次数：
670
这个问题可能是我第一个遇到吧，hadoop启动时WARNING: HADOOP_SECURE_DN_USER has been
replaced by HDFS_DATANODE_SECURE_USER. Using value of
HADOOP_SECURE_DN_USER.错误。解决方案，在$ vim sbin/start-dfs.sh $ vim sbin/stop-dfs.
分类：
其他好文 时间：
2018-07-26 16:39:18
阅读次数：
376
HDFS NameNode(NN): 接受客户端的读写服务 NameNode保存metadata信息:--fsimage中包括:1.文件ownership和permissions2.文件包含哪些块儿--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode3. ...
分类：
其他好文 时间：
2018-07-22 20:06:38
阅读次数：
159
