Hadoop学习笔记(3) ——分布式环境搭建 前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。 在这里，我们采用这样的策略来模拟环境，我们使用3台ubuntu机器，1台为作主机(master)，另外2台....
分类：
其他好文 时间：
2014-07-26 01:48:06
阅读次数：
233
Webx框架：http://openwebx.org/petstore:webx3/webx-sample/petstore/tags/3.0/petstore编译之后：mvn jetty:run即可, 访问：http://localhost:8081/ Webx MVC(以webx3为基础)1、w...
分类：
Web程序 时间：
2014-07-26 00:30:16
阅读次数：
521
1、主要是设置Reduce端输出的value类型直接上代码吧：注释就免了吧，大家应该很熟悉了。package hbase;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf...
分类：
其他好文 时间：
2014-07-25 19:04:02
阅读次数：
271
主流java的web容器，主要是Tomcat, jboss, jetty, resin。由于以前我们主要用的是jboss4.0.5，但jbosse用的servlet容器是tomcat5.5，所以只进行tomcat和 jetty的比较，两个谁好谁坏，适合你用，你才知道。resin就不说了，好像已经成为...
分类：
其他好文 时间：
2014-07-25 16:36:21
阅读次数：
977
前言从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概...
分类：
其他好文 时间：
2014-07-25 14:13:02
阅读次数：
446
使用Cloudera Manager 安装CDH，虽然方便快捷，但是在中国国情的网速下还是需要进行一些特别的处理，才能顺利安装。本文汇总了多个参考文档，详细的记录了安装过程和期间出现的问题与解决方法。...
分类：
其他好文 时间：
2014-07-24 23:02:34
阅读次数：
455
代码测试环境：Hadoop2.4应用场景：当需要定制输出数据格式时可以采用此技巧，包括定制输出数据的展现形式，输出路径，输出文件名称等。Hadoop内置的输出文件格式有：1）FileOutputFormat 常用的父类；2）TextOutputFormat 默认输出字符串输出格式；3）SequenceFileOutputFormat 序列化文件输出；4）MultipleOutputs 可以把输出...
分类：
其他好文 时间：
2014-07-24 17:47:36
阅读次数：
298
如果你有一个web应用部署到Jetty，你能容易地从远程调试它。但首先你必须使用附加的参数启动远程JVM，然后在Eclipse中启动一个远程调试连接。这很容易就能做到。
注意：下面的例子假定你正在部署你的web应用到Jetty发布版本中。
设置Jetty调试端口
假定你将你的webapp部署到Jetty，有两种不同的方式设置调试端口：
通过命令行
在命令行中增加要求的参数如下：
$ j...
分类：
其他好文 时间：
2014-07-24 17:37:26
阅读次数：
248
Hadoop MapReduce思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数...
分类：
其他好文 时间：
2014-07-24 17:00:47
阅读次数：
263
《大 数据技术丛书：Hadoop应用开发技术详解》共12章。第1～2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置；第3章是 MapReduce的使用入门，让读者了解整个开发过程；第4～5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O；第6章分析了 MapReduce的工...
分类：
其他好文 时间：
2014-07-24 11:25:42
阅读次数：
337
