zk是干什么的？？？？？分布式服务架构，解决统一命名，状态同步，集群管理，分布式应用配置项管理为了减轻分布式应用程序所承担的协调任务,比如hadoop中多个NameNode节点，怎么管理与节点间信息同步，Hbase中master与slaver之间状态同步。怎么干的？？？既然是为了减轻协调任务，产生了角色，有老大leader，跟随的follower，观察的observerleader，负责投票的发起
分类：
其他好文 时间：
2019-11-22 15:29:36
阅读次数：
79
Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat进行定制 RDBMS到HD ...
分类：
Web程序 时间：
2019-11-21 21:27:34
阅读次数：
113
1、在/opt下创建ha文件夹 sudo mkdir ha 2、更改ha文件夹所有者 sudo chown atguigu:atguigu ha 3、将之前配置安装的hadoop文件夹拷贝到刚创建的ha文件夹下 cp r module/hadoop 2.7.2/ ha/ 4、然后进入到刚拷贝过去的h ...
分类：
其他好文 时间：
2019-11-21 12:30:07
阅读次数：
96
hadoop及NameNode和SecondaryNameNode工作机制 1.hadoop组成 Common MapReduce Yarn HDFS （1）HDFS namenode：存放目录，最重要的（主机） datanode：存放数据。（从机） 2namenode：“助手” （2）YARN R ...
分类：
其他好文 时间：
2019-11-21 12:21:17
阅读次数：
83
docker hadoop Hadoop网页管理地址: NameNode: http://192.168.59.1:50070/ ResourceManager: http://192.168.59.1:8088/ 192.168.59.1为运行容器的主机的IP。 "源地址" 安装docker 安装 ...
分类：
其他好文 时间：
2019-11-21 10:09:21
阅读次数：
81
在使用Java API操作HBase时抛出如下异常： Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/C:/Users/RYJ/.m2/repository ...
分类：
数据库 时间：
2019-11-21 09:26:13
阅读次数：
103
为了方便MapReduce直接访问关系型数据库（Mysql,Oracle）， Hadoop提供了DBInputFormat和DBOutputFormat两个类。 通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据 ...
分类：
数据库 时间：
2019-11-20 21:53:46
阅读次数：
83
1）解压安装包 [hadoop@mastersoftware]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/ 2）修改解压后的文件名称 [hadoop@mastermodule]$ mv kafka_2.11-0.11.0.0/ kafka 3 ...
分类：
其他好文 时间：
2019-11-20 21:18:35
阅读次数：
53
一、前言 —— 基础环境准备 | 节点名称 | IP | NN | DN | JNN | ZKFC | ZK | RM | NM | Master | Worker | | : : | : : | : : | : : | : : | : : | : : | : : | : : | : : | : : ...
分类：
其他好文 时间：
2019-11-20 19:46:18
阅读次数：
89
@PostConstruct public void init() throws Exception { if (conn == null) { // System.setProperty("hadoop.home.dir", "G:/keyberos/hbase"); System.setProp ...
分类：
编程语言 时间：
2019-11-20 16:58:19
阅读次数：
277
