出现这样的问题确实很苦恼。。。使用的是2.7版本。。一般论坛上的都是1.x的教程，搞死人 在现在的2.x版本上的使用bin/hadoop fs -ls /就有用 应该使用绝对路径就不会有问题。。。。mkdir也是一样的。。具体原因不知，我使用相对路径会出现错误。。。。 ...
分类：
其他好文 时间：
2016-09-23 23:06:53
阅读次数：
132
hadoop中的RPC框架实现机制 RPC是Remotr Process Call， 进程间的远程过程调用，不是在一个jvm里。 即，Controller拿不到Service的实例对象。 hadoop中的RPC应用实例demo 在windows是调用端，在linux里是服务端。 在这里，需要Logi ...
分类：
其他好文 时间：
2016-09-21 22:57:00
阅读次数：
164
初学mapreduce programing，纠结一天的问题如下： job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出，也就是说只有map和reduce输出是一样的时候才不会出问题。 so sort.jav ...
分类：
其他好文 时间：
2016-09-20 15:12:24
阅读次数：
132
1.HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允..
分类：
其他好文 时间：
2016-09-18 15:37:05
阅读次数：
289
1. HDFS 2.0 基本概念 相比于 Hadoop 1.0,Hadoop 2.0 中的 HDFS 增加了两个重大特性,HA 和 Federaion。HA 即为 High Availability,用于解决 NameNode 单点故障问题,该特性通过热备的方式为主 NameNode 提供一个备用者 ...
分类：
其他好文 时间：
2016-09-14 12:24:07
阅读次数：
163
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为t ...
分类：
其他好文 时间：
2016-09-12 20:30:14
阅读次数：
205
R语言的分布式目前有这几个产品： （A）RHadoop：对hadoop族系的产品，其中提供了以下的组件 A.1 rhdfs 浏览读取增加修改hdfs上面的文件数据； A.2 rhbase 浏览读取增加修改hbase中的文件数据； A.3 plyrmr 用mr方式在hadoop中提供类似于plyr/r ...
分类：
其他好文 时间：
2016-09-01 18:46:57
阅读次数：
166
基本的文件系统命令操作,通过hadoopfs-help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件..
分类：
其他好文 时间：
2016-08-26 15:37:58
阅读次数：
187
大数据的仓库Hive学习 10期-崔晓光 2016-06-20 大数据 hadoop 10原文链接 大数据的仓库Hive学习 10期-崔晓光 2016-06-20 大数据 hadoop 10原文链接 我们接着之前学习的大数据来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存 ...
分类：
其他好文 时间：
2016-08-24 11:11:20
阅读次数：
116
一、Hive定义：Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语..
分类：
其他好文 时间：
2016-08-16 22:14:33
阅读次数：
159
