Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境。...
分类:
数据库 时间:
2014-08-10 01:50:39
阅读次数:
449
安装前准备
1. 虚拟机3个,安装Centos 6.5, 内存设置为4GB
2. 配置yum源为163(不配置,在安装软件时,慢的要死)
3. 关闭防火墙( iptables),disabled SELinux
4. 配置静态IP,并在/etc/hosts中将Hadoop集群中的主机名加进去
安装
1. 在Cloudera官网上下载 cloudera-manager-i...
分类:
其他好文 时间:
2014-08-09 00:12:07
阅读次数:
313
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块(block):最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类:
其他好文 时间:
2014-08-08 21:20:36
阅读次数:
364
实施Hadoop集群--伪分布式安装准备与配置安装环境 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷。如果只是实验用途,硬盘大约预留20-30G空间。 以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http:/...
分类:
其他好文 时间:
2014-08-08 09:40:15
阅读次数:
505
Hadoop集群搭建 ?? 目录结构 1. Centos安装之后基本配置 2. 安装和配置JDK 3. 集群网络环境介绍及快速部署 4. ssh免密码登录 5. 规划系统目录. 6. Hadoop集群配置 7. Hadoop集群启动 ? 1. Centos安装之后基本配...
分类:
其他好文 时间:
2014-08-07 16:00:20
阅读次数:
370
namenode跟secondarynamenode的执行过程...
分类:
其他好文 时间:
2014-08-06 23:09:42
阅读次数:
330
hadoop linux centos jdk ssh 防火墙...
分类:
系统相关 时间:
2014-08-05 15:48:29
阅读次数:
348
格式化namenode后,通过jps可发现datanode没有启动成功,查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log,可以发现是namespaceid不对。 解决办法: 1、查看namenode上...
分类:
其他好文 时间:
2014-08-03 23:37:06
阅读次数:
661
mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况,mapreduce中jobtracker会全程追踪任务的执行情况,对于出错的任务mapreduce也定义了一套自己的处理方式。...
分类:
其他好文 时间:
2014-07-30 12:21:22
阅读次数:
209