码迷,mamicode.com
首页 >  
搜索关键字:hadoop集群    ( 910个结果
基于MySQL元数据的Hive的安装和简单测试
Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境。...
分类:数据库   时间:2014-08-10 01:50:39    阅读次数:449
Cloudera hadoop-2.3.0-cdh5.1.0 在Centos 6.5 下的安装
安装前准备 1.  虚拟机3个,安装Centos 6.5, 内存设置为4GB  2.  配置yum源为163(不配置,在安装软件时,慢的要死) 3. 关闭防火墙( iptables),disabled SELinux 4. 配置静态IP,并在/etc/hosts中将Hadoop集群中的主机名加进去 安装  1. 在Cloudera官网上下载 cloudera-manager-i...
分类:其他好文   时间:2014-08-09 00:12:07    阅读次数:313
Hadoop学习笔记_7_分布式文件系统HDFS --DataNode体系结构
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块(block):最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类:其他好文   时间:2014-08-08 21:20:36    阅读次数:364
Hadoop学习笔记_4_实施Hadoop集群 --伪分布式安装
实施Hadoop集群--伪分布式安装准备与配置安装环境  安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷。如果只是实验用途,硬盘大约预留20-30G空间。  以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http:/...
分类:其他好文   时间:2014-08-08 09:40:15    阅读次数:505
Hadoop2.2_集群搭建
Hadoop集群搭建 ?? 目录结构 1. Centos安装之后基本配置 2. 安装和配置JDK 3. 集群网络环境介绍及快速部署 4. ssh免密码登录 5. 规划系统目录. 6. Hadoop集群配置 7. Hadoop集群启动 ? 1. Centos安装之后基本配...
分类:其他好文   时间:2014-08-07 16:00:20    阅读次数:370
NameNode跟secondarynamenode的执行过程
namenode跟secondarynamenode的执行过程...
分类:其他好文   时间:2014-08-06 23:09:42    阅读次数:330
HDFS体系结构及shell操作
shell hdfs...
分类:其他好文   时间:2014-08-05 19:36:00    阅读次数:228
hadoop的linux配置
hadoop linux centos jdk ssh 防火墙...
分类:系统相关   时间:2014-08-05 15:48:29    阅读次数:348
在Hadoop集群实施成功后再次格式化名称节点,datanode无法加入集群的处理办法
格式化namenode后,通过jps可发现datanode没有启动成功,查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log,可以发现是namespaceid不对。 解决办法: 1、查看namenode上...
分类:其他好文   时间:2014-08-03 23:37:06    阅读次数:661
mapreduce任务失败、重试、推测式执行机制小结
mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况,mapreduce中jobtracker会全程追踪任务的执行情况,对于出错的任务mapreduce也定义了一套自己的处理方式。...
分类:其他好文   时间:2014-07-30 12:21:22    阅读次数:209
910条   上一页 1 ... 85 86 87 88 89 ... 91 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!