搭建Hadoop集群环境（3台机器） 1 准备环境 1.1 安装系统，并配置网络使3台机器互联互通，且SSH可直连（无需密码、保存私钥） 1.1.1 安装系统 安装Centos 6.5系统 安装过程略 1.1.2 配置网络 设置三台机器的iP分别为 IP 主机名称 10.132.41.116 Had ...
分类：
其他好文 时间：
2016-03-29 14:45:58
阅读次数：
297
#!/bin/bash##InstallHadoop2usingpdsh/pdcpwherepossible.##Commandcanbeinteractiveorfile-based.Thisscriptsetsup#aHadoop2clusterwithbasicconfiguration.Modifydata,log,andpid#directoriesasdesired.Furtherconfigureyourclusterwith./conf-hadoop2.sh###Basicenvironmen..
分类：
其他好文 时间：
2016-03-23 06:36:28
阅读次数：
152
运行mr，出现如下异常 需要配置yarn-site.xml中配置如下信息 参考地址： https://issues.apache.org/jira/browse/MAPREDUCE-2983 https://issues.apache.org/jira/browse/BIGTOP-764
分类：
其他好文 时间：
2016-03-22 10:36:11
阅读次数：
173
hadoop2.x在系统架构上与hadoop1.x有很大的变化 原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 基本安装请参考： http://www.cnblogs.com/liuxinan/p/52
分类：
其他好文 时间：
2016-03-21 18:18:07
阅读次数：
203
Hadoop1.0最新稳定版本1.2.1 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce Hadoop2.0稳定版本2.2.0 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce 4.YARN H
分类：
其他好文 时间：
2016-03-20 21:17:58
阅读次数：
224
通过thrift远程调用框架，结合hadoop1.x中的thriftfs，编写了一个针对hadoop2.x的thriftfs，供外部程序调用
1，首先需要安装hive，参考http://lqding.blog.51cto.com/9123978/17509672，在spark的配置目录下添加配置文件，让Spark可以访问hive的metastore。root@spark-master:/usr/local/spark/spark-1.6.0-bin-hadoop2.6/conf#vihive-site.xml
<configuration>
<property>..
分类：
数据库 时间：
2016-03-15 00:39:51
阅读次数：
633
在win10下免安装cgwin,由于系统限制,所以需要下载hadoop对应的common master 压缩包,目前最高版本为 2.2.0 所以,在开发中使用2.2 进行开发 1.安装JDK,下载hadoop2.2 和 hadoop-common-master2.2.0 2.设置hadoop环境变量
开发环境准备：eclipse3.5、jdk1.7、window8、hadoop2.2.0、hbase0.98.0.2、phoenix4.3.0 1、从集群拷贝以下文件：core-site.xml、hbase-site.xml、hdfs-site.xml文件放到工程src下 2、把phoenix的ph
分类：
编程语言 时间：
2016-03-11 22:21:34
阅读次数：
450
软件版本：Sqoop：1.99.4；JDK：1.7；Hadoop2.2；环境：1. Hadoop集群：node12:NameNode、ResourceManager、JobHistoryServer、DataNode、NodeManager； 1.5G内存+10G硬盘+1核node13:SecondaryNameNode、DataNode、NodeManager；1.5G内存+10G硬盘+1核2....
分类：
编程语言 时间：
2016-03-08 15:00:38
阅读次数：
613
