说明：由于近期正好在研究hadoop的快照机制。看官网上的文档讲的非常仔细。就顺手翻译了。也没有去深究一些名词的标准译法，所以可能有些翻译和使用方法不是非常正确，莫要介意~~ 原文地址：（Apache hadoop的官方文档） https://hadoop.apache.org/docs/r2.4. ...
分类：
其他好文 时间：
2017-06-15 12:44:52
阅读次数：
421
在hadoop安装目录下：/hadoop2/hadoop-2.7.3 1.创建目录 bin/hdfs dfs -mkdir /user bin/hdfs dfs -mkdir /user/<username> 在HDFS中创建一个名为path的目录，如果它的上级目录不存在，也会被创建，如同linux ...
分类：
其他好文 时间：
2017-06-13 22:48:33
阅读次数：
446
引言 本文档參考最新（截止2014年7月16日）的官方Ref Guide、Developer API编写。 全部代码均基于“hbase 0.96.2-hadoop2”版本号编写。均实測通过。 概述 对于建表，和RDBMS类似，HBase也有namespace的概念，能够指定表空间创建表，也能够直接创 ...
分类：
其他好文 时间：
2017-06-13 22:45:47
阅读次数：
290
原文地址：http://www.cnblogs.com/qiaoyihang/p/6995146.html 1、下载源码：http://archive-primary.cloudera.com/cdh5/cdh/5/ 2、准备编译环境 a、安装maven b、安装protobuffer ./conf ...
分类：
移动开发 时间：
2017-06-13 00:03:22
阅读次数：
319
Secondary NameNode:它究竟有什么作用？ 在hadoop中，有一些命名不好的模块，Secondary NameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。很多Hadoop的初学者都很疑惑，Secondary NameNode究竟是做 ...
分类：
其他好文 时间：
2017-06-09 18:23:01
阅读次数：
357
单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NN进程使用的内存可能会达到上百G，NN成为了性能的瓶颈 常用的估算公式为1G对应1百万个块，按缺省块大小计算的话，大概是64T (这个估算比例是有比较大的富裕的，其实，即使是每个文件只有一个块，所有元数 ...
分类：
其他好文 时间：
2017-06-09 11:16:46
阅读次数：
200
『转载』hadoop2.x常用端口、定义方法及默认端口 1.问题导读 1.问题导读 DataNode的http服务的端口、ipc服务的端口分别是哪个？ DataNode的http服务的端口、ipc服务的端口分别是哪个？ NameNode的http服务的端口、ipc服务的端口分别是哪个？ NameNo ...
分类：
其他好文 时间：
2017-06-07 14:34:32
阅读次数：
285
安装Spark 1、解压 2、修改配置文件 修改 .bashrc 追加内容 #SPARKexport SPARK_HOME=/opt/spark-2.1.1-bin-hadoop2.7export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH spark-e ...
分类：
其他好文 时间：
2017-06-02 13:36:18
阅读次数：
125
原文地址： https://www.zhihu.com/question/23974067/answer/26267153 原文内容： 我64位机器，当时hadoop启动的时候出现这个问题是因为hadoop本身自带的本地库是32位的，我现在hadoop2.2.0已经替换了本地库为64位的了，并且编译 ...
分类：
移动开发 时间：
2017-06-02 12:46:07
阅读次数：
307
MRv1 VS MRv2 MRv1: - JobTracker: 资源管理 & 作业控制- 每个作业由一个JobInProgress控制，每个任务由一个TaskInProgress控制。由于每个任务可能有多个运行实例，因此，TaskInProgress实际管理了多个运行实例TaskAttempt，每 ...
分类：
其他好文 时间：
2017-05-31 19:07:00
阅读次数：
231
