1、先决条件要求必须已经安装完成Hadoop，Hadoop的安装在之前的博文《VMware下Hadoop2.4.1完全分布式集群平台安装与设置》有详细介绍过。2、下载Hive安装包当前最新版本为0.13.1，可以到官网下载最新版，下载地址为：http://archive.apache.org/dist/hive/下载完之后，将安装包..
分类：
其他好文 时间：
2014-10-16 04:00:22
阅读次数：
375
Eclipse下搭建Hadoop2.4.0开发环境一、安装Eclipse下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse4.3.1版本下载地址：http://pan.baidu.com/s/1eQkpRgu二、在eclipse上安装hadoop插件...
分类：
系统相关 时间：
2014-10-13 11:59:29
阅读次数：
365
1 环境准备安装java-1.6(jdk)安装ssh1.1 安装jdk(1)下载安装jdk在/usr/lib下创建java文件夹，输入命令:cd /usr/environmentmkdir java输入命令：sudo apt-get install sun-java6-jdk下载后执行安装文件(2)...
分类：
系统相关 时间：
2014-10-12 16:59:28
阅读次数：
373
前言: 毕业两年了，之前的工作一直没有接触过大数据的东西，对hadoop等比较陌生，所以最近开始学习了。对于我这样第一次学的人，过程还是充满了很多疑惑和不解的，不过我采取的策略是还是先让环境跑起来，然后在能用的基础上在多想想为什么。 通过这三个礼拜(基本上就是周六周日，其他时间都在加班啊T ...
分类：
系统相关 时间：
2014-10-12 16:15:18
阅读次数：
262
在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：
第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java
第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java...
分类：
其他好文 时间：
2014-10-11 14:58:55
阅读次数：
212
一、配置core-site.xml/usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息。编辑器中打开此文件sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml在该文件的之间增加如...
分类：
系统相关 时间：
2014-10-11 12:10:55
阅读次数：
225
1、 环境准备：MavenEclipseJavaSpring 版本 3..2.92、Maven pom.xml配置 org.apache.hbase hbase-client 0.96.1.1-hadoop2 org....
分类：
编程语言 时间：
2014-10-10 19:40:34
阅读次数：
241
一、概述
1、现在有三台机器，分别是：Hadoop1，Hadoop2，Hadoop3，以Hadoop1为日志汇总
2、Hadoop1汇总的同时往多个目标进行输出
3、Flume一个数据源对应多个channel，多个sink，是在consolidation-accepter.conf文件里配置的
二、部署Flume来采集日志和汇总日志
1、在Hadoop1上运行fl...
分类：
Web程序 时间：
2014-10-10 17:10:34
阅读次数：
568
一、环境配置安装虚拟机vmware，并在该虚拟机机中安装CentOS 6.4； 修改hostname(修改配置文件/etc/sysconfig/network中的HOSTNAME=hadoop),修改IP到主机名的映射(vi /etc/hosts ,添加 127.0.0.1 hadoop); 按照J...
分类：
其他好文 时间：
2014-10-09 13:57:43
阅读次数：
189
1. 使用的实例： package?com.rpc;
import?org.apache.hadoop.ipc.VersionedProtocol;
public?interface??MyProtocol?extends?VersionedProtocol{
public?static?final?long?versionID=1L;
String?...
分类：
其他好文 时间：
2014-10-09 00:27:27
阅读次数：
292
