问题导读
1.HDFS HA与QJM解决了什么问题？
2.HDFS HA与QJM区别是什么？
3.在HA（两个namenode）架构下，如何访问hdfs文件？
【使用QJM构建HDFS HA架构(2.2+)】
本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。
一、背景
...
分类：
其他好文 时间：
2015-03-12 11:32:16
阅读次数：
213
问题描述： 在hadoop中处理多个文件，其中每个文件一个map。 我使用的方法为生成一个文件，文件中包含所有要压缩的文件在HDFS上的完整路径。每个map 任务获得一个路径名作为输入。 在eclipse中调试时，map中处理hdfs上的文件用到的FileSystem对象为整个class...
分类：
编程语言 时间：
2015-03-12 11:09:05
阅读次数：
152
这里以按自定义头部的配置为例（根据某些业务不同写入不同的主目录）配置：source:interceptors=i1
interceptors.i1.type=regex_extractor
interceptors.i1.regex=/apps/logs/(.*?)/
interceptors.i1.serializers=s1
interceptors.i1.serializers.s1.name=logtypenamesink:hdfs..
分类：
其他好文 时间：
2015-03-12 08:34:37
阅读次数：
1480
1 打通无密钥 配置HDFS，首先就得把机器之间的无密钥配置上。我们这里为了方便，把机器之间的双向无密钥都配置上。(1)产生RSA密钥信息ssh-keygen -t rsa一路回车，直到产生一个图形结构，此时便产生了RSA的私钥id_rsa和公钥id_rsa.pub，位于/home/user/.ss...
分类：
其他好文 时间：
2015-03-11 23:02:48
阅读次数：
120
几乎因为安装配置hadoop的事弄了三四天，昨天unbuntu莫名其妙的崩溃了。好在今天及其顺利都弄好了，虽然经过了很多烦恼的问题挫折，不过他们是有意义的。
第一次配置是用hadoop2.52的版本，可能是配置文件的问题，当时没有发现，但是看到做wordcount那个例子时遇到bin/hdfs dfs -put etc/hadoop input这条命令时总会出现 No such file or di...
分类：
其他好文 时间：
2015-03-11 21:47:06
阅读次数：
149
Hbase在生态系统中的位置Hbase存储的逻辑视图Hbase的存储格式Hbase写数据流程Hbase快速响应数据Hbase在生态系统中的位置 HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算....
分类：
其他好文 时间：
2015-03-11 21:19:10
阅读次数：
235
原来我要实现的是最基本的将本地文件拷贝到HDFS上去，所以写了下面的程序：package com.lcy.hadoop.file;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;im...
分类：
其他好文 时间：
2015-03-11 16:37:00
阅读次数：
271
1.启动hdfs start-dfs.sh (启动后使用jps查看进程是否启动)2.执行hdfs portmap start和hdfs nfs3 start 使用jps查看portmap和nfs3是否启动3.执行mount -t nfs -o vers=3,proto=tcp,nolock 10.....
分类：
其他好文 时间：
2015-03-11 14:42:58
阅读次数：
134
将硬盘挂载到指定目录，如/data在hdfs-site.xml中修改 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data,/data Determines where on the local filesystem an DFS data ...
分类：
其他好文 时间：
2015-03-11 14:23:44
阅读次数：
111
背景：
hdfs文件系统有很多小文件，这些小文件会定期合并到大文件中，合并完成之后要删除这些小文件。但是有可能当前其他人正在读取这些小文件，此时如果将这些小文件删除，会导致当前用户无法正确获取到文件。
这一点hdfs做的有点恶心：最初我的理解是如果有线程A正在读取这个小文件，其他线程B删除这个小文件时应该会失败（至少应该要抛出异常）。但是测试发现不是这样的。实际的结果是：线程B默默的将小文件直...
分类：
数据库 时间：
2015-03-11 10:52:31
阅读次数：
659
