码迷,mamicode.com
首页 >  
搜索关键字:hadoop zookeeper    ( 18907个结果
hadoop2.2.0安装笔记
NameNode 192.168.1.122 ?hadoop/hadoop VM ?192.168.1.123? DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所有机器上安装o...
分类:其他好文   时间:2014-07-22 09:10:37    阅读次数:199
win7下安装hadoop2.2.0.涵盖64位
想了解hadoop,所以就下了最新的文件,搭建相关的环境,以下为自己在win7上搭建hadoop的相关步骤。 ? ? ? ? 1、下载hadoop,用winRAR解压。(路径不能有空格) ? ? ? ? 2、安装java,此处就不做讲解了。...
分类:Windows程序   时间:2014-07-22 08:16:35    阅读次数:450
Hadoop 安装记录
第一步:打开/etc 下面的 profile文件,在其中加入环境变量设置的代码doneJAVA_HOME=/home/hadoop/installer/jdk7u65PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HO...
分类:其他好文   时间:2014-07-22 08:04:37    阅读次数:220
Spark快速上手之交互式分析
1.1  Spark交互式分析 运行Spark脚本前,启动Hadoop的HDFS和YARN。Spark的shell提供 了简单方式去识别API,同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力,分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。 进入Spark安装主目录,输入下面的命令,python命令行模式将会启动。 ./bin/pysp...
分类:其他好文   时间:2014-07-22 00:29:38    阅读次数:239
hive 自我介绍
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据...
分类:其他好文   时间:2014-07-22 00:20:35    阅读次数:252
hadoop无法启动常见原因
1、Could not chdir to home directory /home/USER: Permission denied启动datanode时会报这个错误,尝试利用ssh登录datanode,发现需要密码。解决办法: 利用root权限修改/etc/sysconfig/selinux,将S....
分类:其他好文   时间:2014-07-21 14:27:28    阅读次数:281
打造基于hadoop的网站日志分析系统(5)之spark在日志分析系统里的简单应用
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群,只需把下好的文件...
分类:Web程序   时间:2014-07-21 10:21:45    阅读次数:206
Hadoop中FileSystem的append方法
Hadoop 1.x版本不支持FileSystem的append操作,而需要升级到Hadoop 2.x,否则会报异常:org.apache.hadoop.ipc.RemoteException: java.io.IOException: Append is not supported. Please...
分类:移动开发   时间:2014-07-21 09:13:27    阅读次数:1094
(转)MapReduce 中的两表 join 几种方案简介
1. 概述在传统数据库(如:MYSQL)中,JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作,同样常见且耗时,由于Hadoop的独特设计思想,当进行JOIN操作时,有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法,然后给出了几种针对不同输入数据集的优化方法。...
分类:其他好文   时间:2014-07-21 09:03:08    阅读次数:329
lab-bill-hadoop-ha-davidey
Hadoop2.2.0版本HDFS的HA配置注:以下配置描述的是HDFS的QJM方式的HA配置。1.1zookeeper集群配置这里我使用了4台机器部署zookeeper集群,机器IP分别是:10.0.0.131Namenode1-v210.0.0.132Namenode2-v210.0.0.133Datanode1-v210.0.0.134Datanode2-v2首先建立zookeeper的数据目录..
分类:其他好文   时间:2014-07-20 15:22:31    阅读次数:363
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!