hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现，其同时支持别的存储系统，并在别的存储系统上运行分布式计算程序（mapreduce）。 从开发角度来说，h...
分类：
其他好文 时间：
2014-11-11 09:22:37
阅读次数：
239
作者 Jonathan
Allen ，译者 张晓鹏
Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的Elastic
MapReduce。
结合Hadoop使用Hunk
Hadoop由两个单元组成，首先是被称为HDFS的存储单元，HDFS可以分布在成千上万个复制的节点上。接下来是...
分类：
其他好文 时间：
2014-11-11 09:22:20
阅读次数：
225
上传两个文件到hdfs上的input文件夹下
代码如下：
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io...
分类：
系统相关 时间：
2014-11-10 13:47:40
阅读次数：
179
调试加安装了半天，怎么也没有配置好怎么通过Eclipse直接连接hdfs，最后我还是打成一个jar包放到Linux虚拟机中运行的。运行命令Java -jar XXX.jar.当中对hdfs的操作比較简单，主要就FileSystem这一个类，这个东西搞懂了，你对通过程序进行对hdfs的操作自然而然的也...
分类：
其他好文 时间：
2014-11-10 11:44:02
阅读次数：
183
关键配置(core-site.xml 和hdfs-site.xml)（这里只是针对与HDFS，没有启动MapReduce）：core-site.xml fs.default.name hdfs://qzhong:8000 hdfs-site.xml dfs.name.dir /home/...
分类：
其他好文 时间：
2014-11-09 23:42:43
阅读次数：
180
一般在对文件操作的时候可能出现这个问题，可能是打开文件的时候出错，也可能是对目录进行遍历的时候出问题。
出现这种问题一般是在eclipse中运行hadoop的时候出现，直接切换到shell下发送命令，可能不会出现这个问题。
假设当前在eclipse的项目目录下，具体解决办法如下：...
分类：
其他好文 时间：
2014-11-08 22:15:37
阅读次数：
277
创建带分区的外部表创建外部表的优点是数据能够随时从hdfs中挂载进表中使用分区的优点是能够缩短查询范围以下的样例展示了怎样创建外部表CREATE EXTERNAL TABLE my_daily_report( last_update string, col_a string, co...
分类：
其他好文 时间：
2014-11-08 19:37:38
阅读次数：
161
在上一篇文章中我们讲解了一个基本的MapReduce作业由那些基本组件组成，从高层来看，所有的组件在一起工作时如下图所示：图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点.....
分类：
其他好文 时间：
2014-11-07 23:24:45
阅读次数：
218
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中sc...
分类：
系统相关 时间：
2014-11-07 20:46:25
阅读次数：
330
向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。
解决的办法：
1、从其他非datanode节点上传
可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也可以，但是这样不太好，会增加namenode的负担，并且时间长了会让namenode...
分类：
Web程序 时间：
2014-11-07 17:10:35
阅读次数：
200
