一、kdTree 数据结构节点 left： 左子树 right：右子树 fea：所选轴（特征） dataNode：所选轴中点的样本 二、kdTree实现主要包括两部分： 1、建树 ：计算轴方差，选出方差最大的轴，进行递归二分 2、查询：根据当前kdTree节点轴的值与要查询节点轴的值比较，选择向左子 ...
分类：
其他好文 时间：
2018-10-04 21:34:33
阅读次数：
242
最近在实验室弄ssh登录，结果被虐了，要注意以下： 1.主机名不能包括 - _ ! 等非法字符。 2.如果hadoop格式化时，报：“SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: datanode:unk ...
分类：
其他好文 时间：
2018-09-30 21:25:48
阅读次数：
175
DFS集群安装： 1.准备工作 （1）虚拟机(电脑8G 磁盘500GB) （2）3台linux系统（1台namenode 2台datanode） 2.安装HDFS(软件) （1）关闭防火墙 firewall-cmd --state 查看防火墙状态 systemctl stop firewalld.s... ...
分类：
其他好文 时间：
2018-09-28 01:45:27
阅读次数：
198
原因： Ambari 每分钟会向datanode发送"ping"连接一下去确保datanode是正常工作的.否则它会触发alert。但是datanode并没有处理空内容的逻辑,所以直接异常了 解决办法： 这个可以忽略，或者使用 https://issues.apache.org/jira/brows ...
分类：
编程语言 时间：
2018-09-27 11:17:07
阅读次数：
252
1. 原因一 在 start-all.sh 之后 DataNode 无法正常启动，单独启动也启动不了 可能的原因 多次格式化，导致 NameNode 和 DataNode 的集群 id 不匹配 DataNode 无法启动 验证 查看对应主机的相关日志信息，位置在 /soft/hadoop/logs ...
分类：
其他好文 时间：
2018-09-25 21:54:44
阅读次数：
2320
安装完后却不能运行Hadoop，仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。 无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。 例如： NameNode和DataNode的name ...
分类：
其他好文 时间：
2018-09-18 19:53:42
阅读次数：
127
前言 接着上篇的内容，上一篇主要说了下Zookeeper内部的数据存储基本单位datanode和内存中维护的Datatree，还有和配额有关的三个实体类。具体在zk初始化时是怎么生成datatree等等后面会说。这一篇主要说下事务日志，后面也有用到。 事务日志 关于zookeeper事务日志的格式， ...
分类：
其他好文 时间：
2018-09-17 22:59:26
阅读次数：
472
1、列出Hadoop集群的Hadoop守护进程和相关的角色。 Namenode：它运行上Master节点（主节点）上，负责存储的文件和目录所有元数据。它管理文件的块信息，以及块在集群中分布的信息。（管理文件系统的命名空间和客户端对文件的访问操作） Datanode：它是一个存储实际数据的Slave节 ...
分类：
其他好文 时间：
2018-09-17 16:20:36
阅读次数：
294
## Hadoop常用操作 ### 1、Hadoop安装 略 ### 2、Hadoop配置 略 ### 3、Hadoop多目录配置 namenode和datanode节点下都可以进行多个目录的配置，但是意义不同。namenode的多目录配置是副本策略，保证数据可靠性，datanode多目录配置是对容... ...
分类：
其他好文 时间：
2018-09-16 15:57:20
阅读次数：
233
1. 集群规划：192.167.1.252 palo252 Namenode+Datanode192.167.1.253 palo253 YarnManager+Datanode+SecondaryNameNode192.167.1.254 palo254 Datanode 2. 设定固定IP地址v ...
分类：
其他好文 时间：
2018-09-02 21:50:57
阅读次数：
160
