Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境 一、环境说明 个人理解：zookeeper可以独立搭建集群，hbase本身不能独立搭建集群需要和hadoop和hdfs整合 集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave ...
分类：
其他好文 时间：
2018-11-06 17:50:02
阅读次数：
234
在安装和测试HBase之前，我们有必要先了解一下HBase是什么 我们可以通过下面的资料对其有一定的了解： HBase 官方文档中文版 HBase 深入浅出 我想把我知道的分享给大家，方便大家交流。 ...
分类：
其他好文 时间：
2018-11-02 17:19:46
阅读次数：
204
一、安装Hadoop插件 1. 所需环境 hadoop2.0伪分布式环境平台正常运行 所需压缩包：eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz 在Linux环境下运行的eclipse软件压缩包,解压后文件名为eclipse hadoop2x-eclipse ...
分类：
系统相关 时间：
2018-10-31 23:25:21
阅读次数：
339
Hadoop2.7.7部署 一、VMware14安装centos7（过程略） 二、配置Linux 1.关闭防火墙： 2.查看当前java版本，为openjdk版的 3.删除openjdk 命令 rpm -qa | grep java 查找java相关文件 命令：rpm -e –nodeps 删除系统 ...
分类：
其他好文 时间：
2018-10-23 21:08:43
阅读次数：
823
测试环境：centos6.10，hadoop2.7.3，jdk1.8 测试代码：HDFSCSample.c 编译脚本： compile.sh 执行命令： # chmod +x compile.sh # ./compile.sh 执行脚本： execute.sh 执行命令： # chmod +x ex ...
分类：
其他好文 时间：
2018-10-23 12:07:42
阅读次数：
168
cdh地址http://archive-primary.cloudera.com/cdh5/cdh/5/添加sudo权限的无密码访问的hadoop用户#useraddhadoop#vi/etc/sudoershadoopALL=(root)NOPASSWD:ALL#su-hadoop下载解压缩[hadoop@hadoop000softwore]$wgethttp://archive-primary
分类：
其他好文 时间：
2018-10-18 20:18:48
阅读次数：
152
本博文集群搭建没有实现Hadoop HA，详细文档在后续给出，本次只是先给出大概逻辑思路。 （一）hadoop2.x版本下载及安装 Hadoop 版本选择目前主要基于三个厂商（国外）如下所示： 基于Apache厂商的最原始的hadoop版本， 所有发行版均基于这个版本进行改进。 基于HortonWo ...
分类：
其他好文 时间：
2018-10-16 22:07:44
阅读次数：
258
下载预构建好的Spark压缩包 进入 "Spark官网下载页面" 下载你需要的安装包，这里我选择预构建好的、现在最新的压缩包 Download Spark: spark 2.3.2 bin hadoop2.7.tgz 下载： 解压: 添加环境变量 可以先进入解压后的目录，然后输入 获取当前目录 如果 ...
分类：
系统相关 时间：
2018-10-14 22:04:03
阅读次数：
243
Spark集群 0.0体验安装Spark在集群单节点 1.tar tar xzvf xxx.tgz C /soft/ ln s /soft/spark 2.1.0 bin hadoop2.7 /soft/spark 2.配置环境变量 SPARK_HOME=/soft/spark PATH=$SPAR ...
分类：
其他好文 时间：
2018-10-13 00:03:34
阅读次数：
189
