1.hdfs三个进程分别为namenode、datanode、secondarynamenode hdfs是hadoop的一个组件，hadoop一共有3个组件分别为hdfs，yarn，mapreduce，这三个组件的功能分别为存储，调度，计算 hdfs三个进程要以hadoop002启动需要配置文件， ...
分类：
其他好文 时间：
2019-02-19 21:17:52
阅读次数：
228
HDFS最近学习总结一.hdfs整体运行机制：客户把一个文件存入HDFS中，其实HDFS会把文件切成块进行存储，会分散存储到N台Linux系统中（存储文件块的角色是:datanode）(重要的是切块的行为是由客户端决定的)一旦文件被切块切块存储，HDFS一定要有个机制，需要记录每一个文件的切块信息和每个切块具体的存储机器。（记录块信息的是namenode）需要保证数据的安全性，HDFS将每一个块都
分类：
其他好文 时间：
2019-02-12 18:55:50
阅读次数：
126
集群格式化hdfs后，在主节点运行启动hdfs后，发现namenode启动了，而datanode没有启动，在其他节点上jps后没有datanode进程！原因： 当我们使用hdfs namenode -format格式化namenode时，会在namenode数据文件夹中保存一个current/VER ...
分类：
其他好文 时间：
2019-02-10 20:16:29
阅读次数：
195
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）第3章 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上 ...
分类：
系统相关 时间：
2019-02-05 23:44:37
阅读次数：
345
集群模式 HDFS 元数据 NameNode DataNode ...
分类：
其他好文 时间：
2019-02-04 15:23:25
阅读次数：
169
HTML 1.命名 antScript ant-script(推荐) ant_script（不推荐） 尽量不适用数字 2.文本缩进（符合代码规范，标准，对齐） 3.标签闭合 4.推荐使用单引号 5.属性属性值推荐使用小写 6.注释标准详尽 CSS 1.选择器 尽可能不使用通配符选择器 合理避免使用i ...
分类：
其他好文 时间：
2019-02-01 18:04:45
阅读次数：
187
一、环境及软件准备 1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15 ambari server 是 否 否 否 否 ambari agent 是 是 是 是 是 namenode 是 ...
分类：
其他好文 时间：
2019-01-31 18:18:39
阅读次数：
513
mysqlslap的一个主要工作场景就是对数据库服务器做基准测试。 测试方法 1、测试工具：mysqlslap，mysqlslap是MySQL5.1.4之后自带的benchmark基准测试工具，该工具可以模拟多个客户端同时并发的向服务器发出查询更新，给出了性能测试数据而且提供了多种引擎的性能比较。 ...
分类：
数据库 时间：
2019-01-28 15:08:10
阅读次数：
201
在安装配置好hadoop以后，输入hadoop namenode -format,报：hadoop:command not found的错误信息 1)、输入： hadoop fs -ls，报这个错误信息 2)、检查环境变量的配置，没有问题 3)、直接切换到hadoop/bin目录下，仍然报这个错 4 ...
分类：
其他好文 时间：
2019-01-27 21:42:45
阅读次数：
220
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S ...
分类：
其他好文 时间：
2019-01-27 13:00:41
阅读次数：
191
