一：Hive基本介绍
Hive是建立在Hadoop上的数据仓库基础构架，它提供了一系列工具可以用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模的数据机制。
使用语言：QL语言（类SQL查询语言）。能处理内建的mapper和reducer无法完成的复杂分析工作。
1.Hive是SQL解析引擎，它将SQL语句转译成M/R Job然后再Hadoop执行。
2...
分类：
其他好文 时间：
2015-02-16 11:45:31
阅读次数：
1005
1，商城：是单商家，多买家的商城系统。数据库是mysql，语言java。2，sqoop1.9.33：在mysql和hadoop中交换数据。3，hadoop2.2.0：这里用于练习的是伪分布模式。4，完毕内容：喜欢该商品的人还喜欢，同样购物喜好的好友推荐。步骤：1，通过sqoop从mysql中将 “用...
分类：
其他好文 时间：
2015-02-11 14:13:58
阅读次数：
684
今天在写一个MR的时候，用到了combiner。在使用过程中，遇到了一些问题，特此记录一下。Combiner分为两种，一种是可插拔的，一种是不可插拔的。可插拔的：Combiner和Reduce的处理逻辑是一样的，可以直接使用Reduce类进行处理。如果去掉Combiner，不影响结果。不可插拔：Co...
分类：
其他好文 时间：
2015-02-10 20:12:16
阅读次数：
179
public interface Comparable { public int compareTo(T o);}规定了对象内部比较的方法public interface Comparator { int compare(T o1, T o2); boolean equals...
分类：
编程语言 时间：
2015-02-08 20:42:58
阅读次数：
365
hadoopfsck/-files-blocks-locationsDEPRECATED:Useofthisscripttoexecutehdfscommandisdeprecated.Insteadusethehdfscommandforit.15/02/0505:20:55WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableCon..
分类：
其他好文 时间：
2015-02-05 15:10:38
阅读次数：
172
声明：代码来自《Hadoop应用技术开发详解》4.7.2，版权归作者所有。1. 概述 文件在Hadoop中表示为一个Path对象，可以把路径看做是Hadoop文件系统的URI，例如：hdfs://master:9000/user/hadoop/study/mr/WordCount/input/fi....
分类：
其他好文 时间：
2015-02-02 17:51:33
阅读次数：
273
在安装hbase中出现问题如下：ERROR: Can't get master address from ZooKeeper; znode data == null解决办法：1、删除namenode目录中/data/hadoop/tmp/dfs/namesecondary/current的文件2、为...
分类：
其他好文 时间：
2015-01-31 00:18:13
阅读次数：
119
1、检测hadoop运行状态信息 hadoop dfsadmin -report 打印出hadoop中硬盘的使用信息 2、 hadoop中创建归档文件 hadoop archive -archiveName example.har -p /tmp/input dir1 dir2 -r 2 /...
分类：
其他好文 时间：
2015-01-26 21:02:51
阅读次数：
202
介绍HDFS和HBase是Hadoop中两种主要的存储文件系统，两者适用的场景不同，HDFS适用于大文件存储，HBASE适用于大量小文件存储。本文主要讲解HDFS文件系统中客户端是如何从Hadoop集群中读取和写入数据的，也可以说是block策略。正文一写入数据当没有配置机架信息时，所有的机器ha..
分类：
其他好文 时间：
2015-01-26 19:31:22
阅读次数：
172
Hadoop中map以及reduce的参数总结及说明...
分类：
其他好文 时间：
2015-01-23 23:08:48
阅读次数：
381
