ZooKeeper 简介 ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。Zoo ...
分类:
其他好文 时间:
2020-04-22 16:49:02
阅读次数:
66
import org.apache.hadoop.hbase.io.ImmutableBytesWritable import org.apache.hadoop.hbase.mapreduce.TableOutputFormat import org.apache.hadoop.hbase.cli ...
分类:
其他好文 时间:
2020-04-22 09:54:55
阅读次数:
108
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.util.Bytes ...
分类:
其他好文 时间:
2020-04-22 09:16:07
阅读次数:
55
前言:因自己负责的项目(jetty内嵌启动的SpringMvc)中需要实现文件上传,而自己对java文件上传这一块未接触过,且对 Http 协议较模糊,故这次采用渐进的方式来学习文件上传的原理与实践。该博客重在实践。 一. Http协议原理简介 HTTP是一个属于应用层的面向对象的协议,由于其简捷、 ...
分类:
Web程序 时间:
2020-04-21 12:51:23
阅读次数:
79
一:自定义数据类 为什么需要自定义数据类 上一篇文章里面我们自己写了一个mapreduce 里面的Top N的https://www.cnblogs.com/wuxiaolong4/p/12733518.html,我们可以从代码里面看出来,里面用|作分隔符,这种方法不好,会由于你自己的失误导致读取字 ...
分类:
其他好文 时间:
2020-04-19 23:46:13
阅读次数:
104
1. Java Download the Java 1.8 64 bit version from https://java.com/en/download/ If not 64 bit java there will be error when start resource node manage ...
0x00 java环境配置 Hadoop需要java环境,首先检测是否存在java环境: java –version 如果没有,则需要去Oracle官网下载jdk: https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.h ...
分类:
系统相关 时间:
2020-04-19 13:00:02
阅读次数:
84
HBase的前提条件: JDK SSH Hadoop JDK:Hadoop和JDK运行的环境,他们的守护进程运行在JVM下。HBase支持JDK 1.6以上的版本。比如: jdk-8u161-linux-x64.rpm。 SSH:实现简单的服务器与主机的通信。在集群中,只有启动sshd后,才可以通过 ...
分类:
系统相关 时间:
2020-04-19 00:46:23
阅读次数:
101
安装前准备: 1.3台主机 2.安装jdk 3.免密登陆 开始安装spark 1.解压安装包 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz 2.修改配置文件 cd conf cp spark-env.sh.template spark-env.shcp slaves ...
分类:
其他好文 时间:
2020-04-19 00:31:12
阅读次数:
85
一、前提条件 1、3台虚拟机,java1.8环境配置,hadoop-2.7.7集群搭建(参见https://www.cnblogs.com/yangy1/p/12362565.html,以及https://www.cnblogs.com/yangy1/p/12367462.html中的横向扩容) 2 ...
分类:
其他好文 时间:
2020-04-17 00:28:41
阅读次数:
83