1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包2、主要程序Java代码packagec...
分类：
编程语言 时间：
2014-07-09 00:42:53
阅读次数：
384
还没有修改hosts，请先按前文修改。 还没安装java的，请按照前文配置。 （1）增加用户并设立公钥： sudo addgroup hadoop sudo adduser --ingroup hadoop hduser su - hduser cat $HOME/.ssh/id_rsa.pub >...
分类：
其他好文 时间：
2014-07-08 22:57:08
阅读次数：
329
# Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式环境整合，超详细哦
# 学习前言
一些基本的东西就不说了，前面已经说过，比如ssh免密码登录，时间同步等，如果不清楚的话请上面看Hadoop-1.x，或者Hadoop-2.X的搭建，那里面很详细。
本来这个早该整理完了，但是这段时间有点小忙，都没有时间去弄，不过今天终于把这个整理完了，以此来帮助那些想学这些新技术的朋友们，虽然整理的时候有点累，但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307这个群哦，一...
分类：
其他好文 时间：
2014-07-08 19:25:04
阅读次数：
702
1、错误描述
java.lang.IllegalArgumentException:Can not find a java.io.InputStream with the name [inputStream] in the invocation stack.
Check the tag specified for this action
2、错误原因
3、解决办法...
分类：
其他好文 时间：
2014-07-08 18:33:04
阅读次数：
237
1、构建Nutch
tar -zxvf apache-nutch-2.2.1-src.tar.gz
cd apache-nutch-2.2.1
ant runtime
2、 ant构建之后，生成runtime文件夹，该文件夹下面有deploy和local文件夹，分别代表了nutch的两种运行方式：
Deploy：的数据必须运行在Hadoop的HDFS中
loca...
分类：
其他好文 时间：
2014-07-08 18:20:36
阅读次数：
268
# Storm介绍
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。 Storm的主工程师Nathan Marz表示：
Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoo...
分类：
编程语言 时间：
2014-07-08 15:48:49
阅读次数：
633
最近在学习hadoop，首先通过网上大把的教程搭建好了完全分布式环境，在分布式环境上运行wordcount也成功，接下来就打算自己写mr来处理实际的业务了，在真正的开发开始之前首先要搭建好开发环境啊，所以就想到了eclipse，可接下来遇到了好多的问题：1、首先是考虑到找一个hadoop..
分类：
系统相关 时间：
2014-07-08 12:10:17
阅读次数：
271
最近在电脑上安装来双系统，其实安到就是一个Wubi版的软件，直接把现有到内存虚拟出来一片空间来承载这个Ubuntu系统，直接在网上搜Wubi版到Ubuntu，然后最好是断网安装，否则他会自动的更新，那样会很慢的，要学习hadoop,那么一个Linux系统还是必须要有的，简单到命令行操作还..
分类：
其他好文 时间：
2014-07-08 09:54:48
阅读次数：
217
快，指时延storm:网络直传，基于内存，流式处理，省去了批量处理收集数据的时间和作业调度时延，用于实时hadoop:hdfs传输，磁盘作为中间交换的介质，基于任务调度吞吐：单位时间内处理的数据量当数据量很大时，比的是吞吐，那hadoop会比storm快
分类：
其他好文 时间：
2014-07-08 09:11:30
阅读次数：
195
