#!/bin/bash# HOSTecho '10.211.55.101 spark01' >> /etc/hostsecho '10.211.55.102 spark02' >> /etc/hostsecho '10.211.55.103 spark03' >> /etc/hostsecho '1... ...
分类：
其他好文 时间：
2017-05-29 21:09:07
阅读次数：
314
企业中的比较全面HADOOP的生态架构 HDFS ：分布式文件系统 YARN：分布式资源管理 MapReduce：离线计算框架 Spark：内存计算框架 Hive：数据仓库 （HQL），提供一种类SQL的数据处理方法 Pig：一种数据流语言，用来快速轻松的处理巨大的数据 HBase：分布式数据库 O ...
分类：
其他好文 时间：
2017-05-22 01:22:50
阅读次数：
254
部署安装了最新稳定版hadoop2.2.0。然后在网上找来fuse-dfs编译教程。可是最后失败了。至今原因未知～～，错误描写叙述为：Transport endpoint is not connected。后将安装部署hadoop1.2.1版本号。最后測试成功，记录例如以下： 使用root完毕一下操 ...
分类：
其他好文 时间：
2017-05-21 11:43:46
阅读次数：
320
在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNam ...
分类：
其他好文 时间：
2017-05-21 10:46:46
阅读次数：
381
?? Precondition: hadoop 2.7.1 hbase 1.0.1.1 / hbase 0.98.13 192.168.1.106 ->master 192.168.1.105 ->slave / regionservers hbase部署 直接下载hbase bin文件 hbase ...
分类：
其他好文 时间：
2017-05-20 14:28:44
阅读次数：
206
有的地方来源别的博文0x01版本
0x02hdfs安装
0x03hive安装
0x04hive安装
0x05spark安装
0x06启动报错
0x07参考0x01版本
版本hdaoop2.8hbase-1.2.5
0x02hdfs安装
1.初始化，建立目录和用户，jdk环境
-name:pro
file:path=/home/hadoopstate=directory
-name:adduser
action:user..
分类：
其他好文 时间：
2017-05-17 15:15:00
阅读次数：
268
最终的 /etc/profile :#在文件最后添加 # /etc/profile# System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrc# It'... ...
分类：
其他好文 时间：
2017-05-16 20:07:33
阅读次数：
261
先安装并启动hadoop，怎么弄见上文http://www.cnblogs.com/wuxun1997/p/6847950.html。这里说下怎么设置IDE来开发hadoop代码。首先要确保你本地装了eclipse，再下个eclipse的hadoop插件就完事了。下面细说一下： 1、到http:// ...
分类：
系统相关 时间：
2017-05-13 20:11:09
阅读次数：
386
HBASE安装 实验环境：hadoop2.7.3，linux 所用安装包：hbase-0.98.9-hadoop2-bin.tar.gz 解压软件包：tar -zxvf hbase-0.98.9-hadoop2-bin.tar.gz -C /usr/local/ 进入HBASE安装目录： [hado ...
分类：
其他好文 时间：
2017-05-13 12:37:21
阅读次数：
236
Hadoop官方站点仅仅提供了32位的Hadoop包。我装的是64位的系统。自然无法使用，会报错误，导致的结果是无法启动hadoop libhadoop.so.1.0.0 which might have disabled stack guard. 我们能够在${Hadoop-Home}/lib/n ...
分类：
系统相关 时间：
2017-05-13 12:29:58
阅读次数：
282
