一、NN的工作机制 ①作用：负责HDFS上元数据的管理，负责接收和处理客户端的请求，负责和DN通信，执行HDFS上的管理操作 ②说明：NN是一个java进程，负责元数据的管理，当NN启动时，需要将HDFS上的所有元数据信息加载到内存中（从磁盘中读取上集群停止时持久化到磁盘中的元数据信息） ③应该避免 ...
分类：
其他好文 时间：
2019-11-27 01:01:07
阅读次数：
82
1、hdfs是通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式，就是一个虚拟的目录结构2、文件存储到hdfs集群中去的时候是被切分成block的3、文件的block存放在若干台datanode节点上4、hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理5、每一 ...
分类：
其他好文 时间：
2019-11-25 20:52:22
阅读次数：
77
FileSystem init() throws URISyntaxException, IOException, InterruptedException { Configuration conf=new Configuration(); conf.set("fs.defaultFS","hdfs ...
分类：
其他好文 时间：
2019-11-25 18:36:13
阅读次数：
79
环境信息 虚拟机：Centos 7 、 Hive版本：1.2.1 异常信息 异常处理 正常根据提示，使用 hdfs dfsadmin safemode leave 即可 但是我遇到了特殊情况，我使用命令hdfs dfsadmin safemode leave,不生效，幸亏看到一篇文章说可能虚拟机磁盘 ...
分类：
其他好文 时间：
2019-11-25 00:08:59
阅读次数：
101
2019-11-24 20:24:56 1.产生密钥对： 可以看到.ssh目录下多了两个文件 2.将每台机器的公钥复制给其他机器。 3.此时再次开启Hadoop就不需要输入4次密码了 将文件放到HDFS分布式文件系统中 ...
分类：
其他好文 时间：
2019-11-24 23:55:29
阅读次数：
170
Bundled Examples Flink 不同的api详细例子 DataStream applications ( "Java" / "Scala" ) DataSet applications ( "Java" / "Scala" ) Table API / SQL queries ( "Ja ...
分类：
其他好文 时间：
2019-11-24 09:31:14
阅读次数：
73
配置文件 core-site.xml 1,start all zk 2,start journalnode on each vm hadoop start journalnode 3, hadoop format 4, copy all hadoop tmp/dir to slaves 5, for ...
分类：
其他好文 时间：
2019-11-23 22:08:22
阅读次数：
76
【实验目的】 1)了解hbase服务 2)学会hbase shell命令操作成绩表 【实验原理】 HBase是一个分布式的、面向列的开源数据库，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据。本试验中hbase提供了一个shell的终 ...
分类：
系统相关 时间：
2019-11-23 15:54:07
阅读次数：
276
准备： 两台配置CentOS 7.3的阿里云ECS服务器； hadoop-2.7.3.tar.gz安装包； jdk-8u77-linux-x64.tar.gz安装包； hostname及IP的配置： 更改主机名： 由于系统为CentOS 7，可以直接使用‘hostnamectl set-hostna ...
分类：
其他好文 时间：
2019-11-23 13:12:49
阅读次数：
108
