NameNode主要保存了下面的内容 1-Block和文件之间的关系，即某一个特定文件都有哪些Block； 2-每一个Block存储在什么位置（DataNode上面）； NameNode如何保证元数据的可靠性 fsimage 和内存中保存的元数据互为镜像； edits.log中存储了一段时间内所有的 ...
分类：
其他好文 时间：
2018-10-10 14:22:32
阅读次数：
200
1、hadoop默认临时数据文件是存储于Unix的tmp目录下（cd/tmp包含hadoop-root等文件），如果不进行修改，linux系统重启后hadoop有可能出现不正常现象；故需要修改hadoop的临时文件存放目录2、vimcore-site.xml配置如下，然后重启hadoop集群，不要对namenode重新进行格式化操作修改datanode/var/hadoop/dfs/data/cu
分类：
编程语言 时间：
2018-10-09 16:15:03
阅读次数：
213
一，服务准备 本案例用Linux虚拟机服务器来搭建HADOOP集群，所用的软件版本： Vmware 11.0 Contos 6.5 64bit 二，JDK环境安装 上传JDK安装包 》解压到指定目录 》配置环境变量 三，网络环境准备 1，将虚拟机的网络环境设置为NAT 2，修改主机名：vi /etc ...
分类：
其他好文 时间：
2018-10-07 10:30:41
阅读次数：
188
一、kdTree 数据结构节点 left： 左子树 right：右子树 fea：所选轴（特征） dataNode：所选轴中点的样本 二、kdTree实现主要包括两部分： 1、建树 ：计算轴方差，选出方差最大的轴，进行递归二分 2、查询：根据当前kdTree节点轴的值与要查询节点轴的值比较，选择向左子 ...
分类：
其他好文 时间：
2018-10-04 21:34:33
阅读次数：
242
最近在实验室弄ssh登录，结果被虐了，要注意以下： 1.主机名不能包括 - _ ! 等非法字符。 2.如果hadoop格式化时，报：“SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: datanode:unk ...
分类：
其他好文 时间：
2018-09-30 21:25:48
阅读次数：
175
DFS集群安装： 1.准备工作 （1）虚拟机(电脑8G 磁盘500GB) （2）3台linux系统（1台namenode 2台datanode） 2.安装HDFS(软件) （1）关闭防火墙 firewall-cmd --state 查看防火墙状态 systemctl stop firewalld.s... ...
分类：
其他好文 时间：
2018-09-28 01:45:27
阅读次数：
198
原因： Ambari 每分钟会向datanode发送"ping"连接一下去确保datanode是正常工作的.否则它会触发alert。但是datanode并没有处理空内容的逻辑,所以直接异常了 解决办法： 这个可以忽略，或者使用 https://issues.apache.org/jira/brows ...
分类：
编程语言 时间：
2018-09-27 11:17:07
阅读次数：
252
1. 原因一 在 start-all.sh 之后 DataNode 无法正常启动，单独启动也启动不了 可能的原因 多次格式化，导致 NameNode 和 DataNode 的集群 id 不匹配 DataNode 无法启动 验证 查看对应主机的相关日志信息，位置在 /soft/hadoop/logs ...
分类：
其他好文 时间：
2018-09-25 21:54:44
阅读次数：
2320
安装完后却不能运行Hadoop，仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。 无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。 例如： NameNode和DataNode的name ...
分类：
其他好文 时间：
2018-09-18 19:53:42
阅读次数：
127
前言 接着上篇的内容，上一篇主要说了下Zookeeper内部的数据存储基本单位datanode和内存中维护的Datatree，还有和配额有关的三个实体类。具体在zk初始化时是怎么生成datatree等等后面会说。这一篇主要说下事务日志，后面也有用到。 事务日志 关于zookeeper事务日志的格式， ...
分类：
其他好文 时间：
2018-09-17 22:59:26
阅读次数：
472
