既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于Linux 的shell 对文件的操作，只是在HDFS中，hadoop fs是主命令，其他像ls,mv,cp都是...
分类：
其他好文 时间：
2014-07-16 23:04:42
阅读次数：
372
前段时间业务系统有个模块数据没有了，在排查问题的时候发现中间处理环节出错了，错误日志为文件格式不正确，将数据导出后发现这个处理逻辑的输入文件中每一行都多了一列，而且是一个空列（列分隔符是\t）。第一次检查代码后没发现代码里多写了一列，第二次排查Reduce代码时，发现在写文件时value为空的Tex...
分类：
其他好文 时间：
2014-07-16 21:46:49
阅读次数：
200
回 到 目 录最近要从网上抓取数据下来，然后hadoop来做存储和分析。每晚尽量更新呆毛王赛高月子酱赛高小唯酱赛高目录 安装hadoop1.0.3 HDFS wordcount mapreduce去重 mapreduce算平均分 mapreduce排序安装hadoop1.0.3 1 u...
分类：
其他好文 时间：
2014-07-14 15:14:34
阅读次数：
279
可扩展的模块化CSS结构：Basic(基础)：各种单一选择器，规定那些在整个项目里都统一的元素，比如统一各种元素的浏览器默认样式；Layout(布局)：将页面分区块，使一至多个模块集合，比如头部、页脚、搜索框、主体；Module(模块)：可重用的部件、组件，如边栏、弹出框等；State(状态)：针对...
分类：
Web程序 时间：
2014-07-13 08:55:38
阅读次数：
241
http://blog.csdn.net/greatelite/article/details/18676281遇到的问题：在连接到hdfs服务器上，一直提示unable to connect to HDFS Server解决过程中：①网上找了各种说是jar包驱动不兼容，端口号不对，最后都没解决②最...
分类：
其他好文 时间：
2014-07-13 00:38:07
阅读次数：
632
对于hadoop HDFS 中的所有命令进行解析（其中操作流程是自己的想法有不同意见欢迎大家指正）
接口名称
功能
操作流程
get
将文件复制到本地文件系统 。如果指定了多个源文件，本地目的端必须是一个目录。
（1）按照上述机制，在Config server上的存储引擎中逐层读取K-V，直到获得文件名（或大文件元数据...
分类：
其他好文 时间：
2014-07-12 22:25:59
阅读次数：
389
HDFS中的NameNode、DataNode、Secondery NameNode是如何在磁盘上组织和存储持久化数据的？下面将分别进行介绍。注意，这里主要介绍的是Hadoop 2.0以前的版本，Hadoop 2.0以后版本文件结构稍微有一些变化，因为目前我们还没有使用hadoop 2.0，所以后面...
分类：
其他好文 时间：
2014-07-12 08:52:04
阅读次数：
544
在执行MR将HDFS转换为HFile的时候，出现了如下异常：
14/07/09 18:02:59 INFO mapred.JobClient: map 83% reduce 0%
14/07/09 18:02:59 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_0, Status : FAILE...
分类：
其他好文 时间：
2014-07-10 23:32:44
阅读次数：
323
1.使用命令行操作1）4个通用命令行<1>archive归档文件的创建用途：由于hadoop的设计是为了处理大数据，理想的数据应该blocksize的倍数。namenode在启动时会将所有的元数据load到内存中当大量小于blocksize的文件存在的时候，，不仅占用了大量的存储空间，也占用了大量的n..
分类：
其他好文 时间：
2014-07-10 18:56:21
阅读次数：
353
