解压后 etc/hadoop中的配置 1. hadoop-env.sh 检查JAVA_HOME http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html NameNode - h... ...
分类：
其他好文 时间：
2016-08-12 23:28:05
阅读次数：
195
最近在学习传智播客吴超老师的Hadoop视频，里面他在讲解RPC通信原理的过程中给了一个RPC的小例子，但是自己编写的过程中遇到一个小错误，整理如下： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metri ...
分类：
编程语言 时间：
2016-08-03 01:26:55
阅读次数：
2642
map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的 ...
分类：
其他好文 时间：
2016-08-01 17:28:01
阅读次数：
109
. Changing MapReduce jobs
1.1 Chaining MapReduce jobs in a sequence
MapReduce程序能够执行一些复杂数据处理的工作，通常的情况下，需要将这个任务task分割成多个较小的subtask，然后每个subtask通过hadoop中的job运行完成，然后教案subtask的结果收集起来，完成这个复杂的task。
...
分类：
其他好文 时间：
2016-07-21 11:03:24
阅读次数：
155
1. 概述
2. 文件操作
2.1 上传本地文件到hadoop fs
2.2 在hadoop fs中新建文件，并写入
2.3 删除hadoop fs上的文件
2.4 读取文件
3. 目录操作
3.1 在hadoop fs上创建目录
3.2 删除目录
3.3 读取某个目录下的所有文件
4. 参考资料接代码下载
. 概述
hadoop中关于文件操作类基本...
分类：
编程语言 时间：
2016-07-19 09:58:32
阅读次数：
208
HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作
一、 hbase架构
1.概述。
HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的...
分类：
其他好文 时间：
2016-07-15 21:37:29
阅读次数：
207
版本：1.6.2
不管是hadoop中map/reduce还是spark中各种算子，shuffle过程都是其中核心过程，shuffle的设计是否高效，基本确定了整个计算过程是否高效。 设计难点在于shuffle过程涉及到大数据的IO操作（包括本地临时文件IO和网络IO），以及可能存在的cpu密集型排序计算操作。
在spark1.6.2版本，spark针对大型数据有三种shuffle 机制，...
分类：
其他好文 时间：
2016-07-15 21:24:19
阅读次数：
168
secondarynamenode 图： secondarynamenode根据文件的的大小对namenode的编辑日志和镜像日志 进行合并。 光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是 ...
分类：
其他好文 时间：
2016-07-13 20:04:29
阅读次数：
113
为什么需要在Mapper端进行归约处理？ 为什么可以在Mapper端进行归约处理？ 既然在Mapper端可以进行归约处理，为什么在Reducer端还要处理？ 上面三个问题，可以查看帖子 hadoop中，combine、partition、shuffle作用分别是什么？ ...
分类：
其他好文 时间：
2016-07-11 17:00:27
阅读次数：
174
我用的是hadoop 1.2.1 遇到的问题是： hadoop中datanode无法启动，报Caused by: java.net.NoRouteToHostException: No route to host 切换root用户将所有机器上的防火墙都关闭。 重新启动。成功。 一定要从新启动，是因为 ...
分类：
编程语言 时间：
2016-07-09 23:37:20
阅读次数：
685
