前提你得安装有Hadoop 我的版本hadoop2.3-cdh5.1.01、下载maven包2、配置M2_HOME环境变量，配置maven 的bin目录到path路径3、export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCa...
分类：
其他好文 时间：
2014-08-27 18:37:18
阅读次数：
252
自从三大数据库厂商甲骨文、IBM和微软在2011年不约而同地宣布支持Hadoop后，在企业级市场上，Hadoop基本上也充当着大数据的代名词。时至今日，这种状况或许应该改变了。NoSQL日渐重要 由于Hadoop的高调，很少有人注意到，在宣布支持Hadoop的同一年，这三大关系型数据库厂商还分...
分类：
其他好文 时间：
2014-08-27 18:04:38
阅读次数：
127
1错误：DataXceiver error processing WRITE_BLOCK operation2014-05-06 15:21:30,378 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: hadoop-datanode1:...
分类：
其他好文 时间：
2014-08-27 18:04:08
阅读次数：
215
hadoop多次格式化后，导致datanode启动不了,并且在datanode里面执行hadoop datanode -upgrade 会抛出如下异常:************************************************************/2014-08-27 14...
分类：
其他好文 时间：
2014-08-27 16:20:27
阅读次数：
365
1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的 部分结果的...
分类：
其他好文 时间：
2014-08-27 14:53:18
阅读次数：
221
hadoop的hdfs API的基本操作
简单的介绍
hadoop为我们提供了hdfs非常方便的shell命令（类似于Linux文件操作的命令），再者。hadoop还为我们提供hdfsAPI，使我们开发人员可以对hfds进行一些操作。如：copy文件（从本地到hdfs，从hdfs到本地）、删除文件或者目录、读取文件的内容、看文件的相关信息、列出文件的所有子目录，在文件后面追加内容。（注意：hd...
概念：Hadoop有一个叫DataJoin的包为Data Join提供相应的框架。它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的data join技术，我们称其为reduce-side join。（因为我们在reducer上作大多数的工作）re...
分类：
其他好文 时间：
2014-08-27 14:35:47
阅读次数：
213
执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示： 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在，在我们刚刚构建的伪分布式模式下运行wordcount程序： 运行完成后我们查看一下输出的结...
分类：
其他好文 时间：
2014-08-27 13:13:48
阅读次数：
314
执行文件拷贝操作拷贝后的“input”文件夹的内容如下所示：和我们的hadoop安装目录下的“conf”文件的内容是一样的。现在，在我们刚刚构建的伪分布式模式下运行wordcount程序：运行完成后我们查看一下输出的结果：部分统计结果如下：此时我们到达Hadoop的web控制台会发现我们提交并成功的...
分类：
其他好文 时间：
2014-08-27 12:49:47
阅读次数：
236
前记：这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。分析原因：很多hadoop的初学者对hadoop的脚本不是很清楚，..
分类：
其他好文 时间：
2014-08-27 02:46:48
阅读次数：
306
