继续接上一章,已安装好Hadoop集群环境http://www.cnblogs.com/dopeter/p/4612232.html在此基础上继续安装Hbase集群Hbase版本为1.0.1.1一、 安装与配置Hbase1. 解压tar -zxvf hbase-1.0.1.1-bin.tar.gz-...
分类:
其他好文 时间:
2015-07-02 06:32:51
阅读次数:
380
今天布置hadoop集群,尝试单独将secondarynamenode分属到一台独立的虚拟机上,当格式化后,start-dfs.sh。namenode没启动。查看日志。报错例如以下查看权限才发现,/current/VERSION是隶属root的。须要更改用户。之后。再start-dfs.sh,依旧提...
分类:
编程语言 时间:
2015-06-30 20:15:22
阅读次数:
261
CentOS系统下Hadoop 2.4.1集群安装配置(简易版)
分类:
其他好文 时间:
2015-06-29 19:40:56
阅读次数:
138
先使用Tos建立模型,将Oracle中的数据导入到本地: build job后,形成独立可以运行的程序: 将生成的zip文件,上传到hadoop集群上,有hive环境的机器上: [hive@h1 work]$ ls file.zip jobInfo.properties join lib [hive...
分类:
数据库 时间:
2015-06-29 14:45:40
阅读次数:
260
基于虚拟机的Hadoop集群安装1、我们需要的软件Xshell, ssh secure, 虚拟机,Linux centos64, Hadoop1.2.1的安装包2、安装以上软件3、安装Linux,此处不多做阐述4、首先安装jdk我的路径是JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
PATH=PATH:PATH:JAVA_HOME/bin
CLASSPATH=JAVAHO...
分类:
其他好文 时间:
2015-06-28 12:50:45
阅读次数:
132
1、系统管理 1.1 连接MySQL 格式: mysql -h主机地址 -u用户名 -p用户密码 举例: 例1:连接到本机上的MySQL。 首先在打开DOS窗口,然后进入目录 mysqlbin,再键入命令"mysql –u root –p",回...
分类:
数据库 时间:
2015-06-26 11:15:46
阅读次数:
274
1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所...
分类:
其他好文 时间:
2015-06-25 17:49:06
阅读次数:
229
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKe...
分类:
其他好文 时间:
2015-06-25 12:18:17
阅读次数:
223
前期准备
1.修改Linux主机名,每台都得配置
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop-server1
2.修改IP /etc/sysconfig/network-scripts/ifcfg-eth0
3.修改主机名和IP的映射关系
vim /etc/hosts
192.168.146.181...
分类:
其他好文 时间:
2015-06-24 18:56:41
阅读次数:
132