使用flume收集数据，将数据传递给kafka和hdfs，kafka上的数据可以使用storm构建实时计算，而hdfs上的数据，经过MR处理之后可以导入hive中进行处理。 环境：hadoop1.2.1，hive 0.13.1，maven 3.2.5，flume 1.4，kafka 0.7.2，ec...
分类：
Web程序 时间：
2015-03-14 18:17:55
阅读次数：
4961
本篇先介绍HBase在伪分布式环境下的安装方式，然后将MapReduce编程和HBase结合起来使用，完成WordCount这个例子。HBase在伪分布环境下安装一、 前提条件 已经成功地安装了jdk1.6和hadoop1.2.1。 Jdk1.6+Hadoop1.2.1在伪分布环境下具体的安装方.....
分类：
系统相关 时间：
2015-03-10 16:48:11
阅读次数：
310
1.安装eclipse3.6.2， 废止3.7， 这个有很多问题2.安装eclipse插件ivyYou can install Apache IvyDE plugins from the IvyDE update site:http://www.apache.org/dist/ant/ivyde/u...
分类：
其他好文 时间：
2015-03-09 00:12:37
阅读次数：
188
hadoop2对比hadoop1 1、体系结构 HDFS+MapReduce,共同点都是分布式的，主从关系结构。 HDFS=一个NameNode+多个DataNode, NameNode含有我们用户存储的文件的元数据信息。数据本身是放在硬盘上的，但是在运行时是加载在内存里的。 缺点：（1）当...
分类：
其他好文 时间：
2015-03-08 20:01:09
阅读次数：
138
将这种单机的工作进行分拆，变成协同工作的集群，这就是分布式计算框架设计。使得计算机硬件类似于应用程序中资源池的资源，使用者无需关心资源的分配情况，从而最大化了硬件资源的使用价值。分布式计算也是如此，具体的计算任务交由哪一台机器执行，执行后由谁来汇总，这都由分布式框架的Master来抉择，而使用者.....
分类：
其他好文 时间：
2015-03-05 22:09:31
阅读次数：
175
1. hadoop软件传送给虚拟机 还是利用WinSCP把hadoop软件安装包，放到linux的Downloads文件夹中。 2. 选择安装目录 把hadoop安装包copy到这个安装目录中，这里我们选择CentOS中的/usr/local目录中。 3. 解压缩安装包 看到hadoop安装包的后缀...
分类：
系统相关 时间：
2015-03-05 16:55:10
阅读次数：
247
参看文档
http://blog.fens.me/hadoop-maven-eclipse/
http://blog.csdn.net/tryhl/article/details/43967441
1 Hadoop1.x的Maven项目构建
怎么用Maven构建项目，以及怎么构建hadoop项目，这里就不详细介绍，详情请参考
http:...
分类：
其他好文 时间：
2015-03-03 09:57:38
阅读次数：
194
软件：
hadoop1.1.2、pietty(在windows系统下登录到linux虚拟机的远程登录软件)、winscp（在本地与远程计算机间安全的复制文件）、jdk-6u24-linux-i586.bin、virtualbox上安装的centos
系统（安装过程这里不说了）
安装步骤：
注：避免安装过程出现文件操作权限导致的问题，以下操作在root用户下进行。
1.安装ssh...
分类：
其他好文 时间：
2015-03-01 15:46:13
阅读次数：
173
1：配置静态IP地址重启网卡命令：service network restart验证：ifconfig2：修改主机名称 2.1、修改当前会话中的主机名命令：hostname hadoop 2.2、修改配置文件中的主机名：vi /etc/sysconfig/network验证：重启机器后查看主机名.....
分类：
其他好文 时间：
2015-02-28 16:18:59
阅读次数：
153
环境： CentOS6.6? hadoop1.2.1? mysql5.1.73 1、下载 [grid@hadoop1 ~]$ wget http://mirrors.cnnic.cn/apache/hive/hive-1.0.0/apache-hive-1.0.0-bin.tar.gz 2、解压 [grid@hadoop1 ~]$ tar -zxf apache-hi...
分类：
数据库 时间：
2015-02-15 06:14:44
阅读次数：
191
