这是个不该踩的坑，被我踩了两天。 启动hbase之后，Hmaster和Hregionserver会自动相继down掉， 于是重新安装了hbase, 但是重新安装hbase之后， 你必须将zookeeper里的/hbase目录和hdfs里的/hbase目录全部删掉！ 你必须将zookeeper里的/h ...
分类：
其他好文 时间：
2020-04-05 11:33:59
阅读次数：
83
MapReduce原理 背景 因为如果要对海量数据进行计算，计算机的内存可能会不够。 因此可以把海量数据切割成小块多次计算。 而分布式系统可以把小块分给多态机器并行计算。 MapReduce概述 MapReduce是一种分布式计算模型，由Google提出主要用于搜索领域，解决海量数据的计算问题。 适 ...
分类：
其他好文 时间：
2020-04-05 00:49:37
阅读次数：
74
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
本文使用的Hadoop为2.7.7，版本如果不同要下载相应版本的文件 配置本地的Hadoop库（不需完整安装，但是要有环境支持） 下载文件 https://github.com/speedAngel/hadoop2.7.7 解压到任意路径，没有中文字符和空格 把解压包的bin替换到解压路径 把bin ...
分类：
其他好文 时间：
2020-04-05 00:24:45
阅读次数：
98
重温MR整体流程 工作流程 开始执行输入（InputFormat），先对文件进行分片，然后读取数据输入到Map中。 Mapper读取输入内容，解析成键值对，1行内容解析成1个键值对，每个键值对调用一次map方法。 每个键值对执行map重写的方法，把输入的键值对转换成新的键值对。 多个Mapper的输 ...
分类：
其他好文 时间：
2020-04-05 00:16:31
阅读次数：
65
./dev/make-distribution.sh —tgz —name h32hive -Pyarn -Phadoop-3.2.1 -Dhadoop.version=3.2.1 -Phive -Phive-thriftserver -DskipTests +++ dirname ./dev/ma ...
分类：
其他好文 时间：
2020-04-04 21:00:49
阅读次数：
101
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
我使用的hadoop是2.9.2版本的，对应的eclipse插件也要使用2.9.2的，我自己编译了一份，上传到了百度网盘，下载地址如下： 链接：https://pan.baidu.com/s/11uM1tSeu-1zdTQrydfX5QA 提取码：p6y9 把插件放到eclipse的plugins目 ...
分类：
系统相关 时间：
2020-04-04 11:55:57
阅读次数：
69
首先卸载Centos本身自带的openjdk，我参考的这位博主的安装教程 https://www.cnblogs.com/happyflyingpig/p/8068020.html 安装Hadoop环境，我参考的是这位博主的安装教程 https://blog.csdn.net/frank409167 ...
分类：
编程语言 时间：
2020-04-03 21:48:00
阅读次数：
238
Centos Linux添加环境变量到PATH的方法在 Linux CentOS 系统上安装完 Hadoop 后，为了使用方便，需要将 Hadoop 命令加到系统命令中，如果在没有添加到环境变量之前，执行“hadoop fs”命令时，则会提示命令不存在的错误，如下所示： 方法一1. export P ...
分类：
系统相关 时间：
2020-04-03 19:56:56
阅读次数：
89
