1，文件结构 · bin：脚本和命令目录。 · etc：配置文件目录。 · sbin：命令目录，主要包含HDFS和YARN中各类服务的启动和关闭，依赖于bin中的脚本。 · share：各个模块编译后的jar包，和示例代码。 · libexec：各个服务的shell配置文件目录，比如配置日志输出目录 ...
分类：
其他好文 时间：
2020-03-03 01:12:53
阅读次数：
70
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 218 ...
分类：
Web程序 时间：
2020-03-03 01:09:01
阅读次数：
118
HDFS写流程 步骤：1.客户请求namenode上传文件,附带路径2.namenode检查，并响应是否允许3.客户端将文件分块，并请求分配block和datanode地址4.namenode响应客户端求，给定地址d1、d4、d65.客户端建立管道：d1收到请求继续调用d4,d4再调用d6。按照po ...
分类：
其他好文 时间：
2020-03-02 23:06:27
阅读次数：
69
一：数据表建立 （一）创建数据库 hive> create database hadoop; hive> use hadoop; 数据库位置在 hdfs://ns1/user/hive/warehouse/hadoop.db目录下 （二）建表 hive> create table t_order(i ...
分类：
其他好文 时间：
2020-03-02 20:36:46
阅读次数：
82
在hadoop的配置文件core-site.xml中添加如下属性：<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value></property><property> <name>hadoop.proxyuser.root ...
分类：
其他好文 时间：
2020-03-02 19:08:50
阅读次数：
71
参考博客：https://blog.csdn.net/qq_35535690/article/details/81976032 要开学上大数据Hadoop啦，可是老师推荐CentOS7。。。不习惯用虚拟机和这个系统，只好自己摸索着在win10里弄一个，按照下面的步骤，分分钟解决问题。 1.首先到官方 ...
1、eclipse中编写代码后双击main方法 >Run as > java application ,然后指定的文件 就会提交到hdfs中。 2、查看文件：http://192.168.108.128:50070/dfshealth.html#tab-overview package hdfs24 ...
格式化NameNode会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往数据，所以，格式化NameNode前，先关闭掉NameNode和DataNode，然后一定要删除data数据和log日志。最后再进行格式化。 在hadoop-2.9.2/data/tmp/ ...
分类：
其他好文 时间：
2020-03-01 14:11:34
阅读次数：
98
一、配置相关文件 在hadoop-2.9.2下etc/hadoop/core-site.xml中配置： <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoo ...
分类：
其他好文 时间：
2020-03-01 14:06:24
阅读次数：
96
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。实验环境3台虚拟机，rhel server:123172.19.238.62172.19.238... ...
分类：
其他好文 时间：
2020-03-01 14:02:16
阅读次数：
82
