1. 环境 主机名 ip 角色 hdp01 192.168.184.61 ResourceManager/NameNode/SecondaryNameNode hdp02 192.168.184.62 NodeManager/DataNode hdp03 192.168.184.63 NodeMan ...
分类：
其他好文 时间：
2018-08-13 16:57:52
阅读次数：
163
今天在学习hadoop启动命令的时候，先jps看了下，发现namenode、datanode都开着，所以想要先停止这些服务，结果输入命令后报错：“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pla ...
分类：
其他好文 时间：
2018-08-12 21:30:56
阅读次数：
128
一、要了解HDFS客户端写数据的过程，首先需要明白namenode和datanode namenode:主要保存数据的元数据，它维护着文件系统树及整棵树内所有的文件和目录，说的直白点就是文件目录的管理以及Block的管理，体现的是一个管理者的身份； datanode:存储并检索数据块的作用，也就是说 ...
分类：
其他好文 时间：
2018-08-12 20:15:29
阅读次数：
230
(1)关于hdfs小结 hadoop由hdfs + yarn + map/reduce组成， hdfs是数据库存储模块，主要由1台namenode和n台datanode组成的一个集群系统， datanode可以动态扩展，文件根据固定大小分块（默认为128M）， 每一块数据默认存储到3台datanod ...
分类：
编程语言 时间：
2018-08-07 16:51:24
阅读次数：
176
接着上一篇中安装hdfs后，直接在NameNode所在的服务器上安装JobTracker,而DataNode就是TaskTracker,所以只需要配置JobTracker就可以 找到NameNode所在的服务器上找到Hadoop对应的conf文件夹下，修改mapred-site.xml文件，添加Jo ...
分类：
其他好文 时间：
2018-08-05 18:06:07
阅读次数：
414
最近有安装了一次hadoop集群，NameNode启动失败，查看日志，找到以下原因： 遇到的异常1： org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-javoft/dfs ...
分类：
其他好文 时间：
2018-08-04 17:26:25
阅读次数：
182
流计算中可能有各种方式来保存状态： 窗口操作 使用 了KV操作的函数 继承了CheckpointedFunction的函数 当开始做checkpointing的时候，状态会被持久化到checkpoints里来规避数据丢失和状态恢复。选择的状态存储策略不同，会导致状态持久化如何和checkpoints ...
分类：
其他好文 时间：
2018-08-01 19:44:26
阅读次数：
1132
HA:高可用 1.Quorum Journal Manager:群体日志管理 个数2n+1个，保证节点宕机次数为(n-1)/2;一般情况下，JNS在slave节点开启； 2.HA的namenode个数:一定是两个：nn1和nn2; 3.搭建HA步骤： 0.创建软连接：指向hadoop_cluster ...
分类：
其他好文 时间：
2018-07-28 15:15:05
阅读次数：
181
step1:开启zookeeper服务 $>zkServer.sh start step2:开启journalnode守护进程（在qjournal协议指定的节点上执行） $>hadoop-daemon.sh start journalnode step3:开启namenode守护进程（在nn1和nn ...
分类：
其他好文 时间：
2018-07-28 15:14:30
阅读次数：
160
