结束historyserver的命令如下所示：
第四步：验证Hadoop分布式集群
首先在hdfs文件系统上创建两个目录，创建过程如下所示：
Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建了两个文件夹：
...
分类：
其他好文 时间：
2014-11-03 16:31:40
阅读次数：
142
结束historyserver的命令如下所示：第四步：验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录，创建过程如下所示：Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，...
分类：
其他好文 时间：
2014-11-03 15:57:47
阅读次数：
175
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处理，由于其入门非常简单，但是若想理解其中各个环节及实现细节还是有一定程度的困难，因此我计划在本文中只是挑几个...
分类：
其他好文 时间：
2014-11-03 11:33:05
阅读次数：
265
1、Hadoop 项目的四大模块
Hadoop Common: The common utilities that support the other Hadoop modules.Hadoop Distributed File System (HDFS?): A distributed file system that provides high-throughput access to...
分类：
其他好文 时间：
2014-11-02 22:38:57
阅读次数：
396
当我动态添加一个hadoop从节点的之后，出现了一个问题：
[root@hadoop current]# hadoop-daemon.sh start datanode
starting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out
[root@hadoop ...
分类：
其他好文 时间：
2014-11-01 11:58:13
阅读次数：
304
目的： 使用命令行接口运行Mini集群，用户可以使用一个简单的命令启动或者停止一个单节点的Hadoop集群，不需要设置任何环境变量和管理配置文件。这个CLI Mini集群将会启动Yarn/MapReduce和HDFS。 这个案例适合想要...
分类：
其他好文 时间：
2014-10-31 13:58:20
阅读次数：
257
在hadoop中edits和fsimage是两个至关重要的文件，其中edits负责保存自最新检查点后命名空间的变化，起着日志的作用，而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直接查看的，幸运的是hadoop为此准备了专门的工具用于查看文件的内容，这些工具分别为oev和oiv，可以使用hdfs调用执行。...
分类：
其他好文 时间：
2014-10-31 12:04:14
阅读次数：
339
Hive的几种常见的数据导入方式
这里介绍四种：
（1）、从本地文件系统中导入数据到Hive表；
（2）、从HDFS上导入数据到Hive表；
（3）、从别的表中查询出相应的数据并导入到Hive表中；
（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
一、从本地文件系统中导入数据到Hive表
先在Hive里面创建好表，如下：
...
分类：
其他好文 时间：
2014-10-29 19:29:20
阅读次数：
279
今天我们再谈谈Hive中的三种不同的数据导出方式。
根据导出的地方不一样，将这些方式分为三种：
（1）、导出到本地文件系统；
（2）、导出到HDFS中；
（3）、导出到Hive的另一个表中。
为了避免单纯的文字，我将一步一步地用命令进行说明。
一、导出到本地文件系统
hive> insert overwrite local directory ...
分类：
其他好文 时间：
2014-10-29 19:24:32
阅读次数：
233
异常日志： 2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception? for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000...
分类：
其他好文 时间：
2014-10-29 13:13:23
阅读次数：
357
