Hbase是一个分布式,版本化(versioned)，构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper，构造HDFS基础上的分布式Hbase。1 安装环境操作系统：Ubuntu-12.04 JDK版本：jdk1.7.0_51 计算....
分类：
其他好文 时间：
2014-06-26 00:31:04
阅读次数：
302
一、java内建序列化机制 java序列化机制将对象转换为连续的byte数据，这些数据可以在日后还原为原先的对象状态，还能自动处理不同操作系统上的差异，也不用担心字节排列次序。 java的类实例可被序列化只要在类声明中加入implements Serializable即可。Serializabl.....
分类：
其他好文 时间：
2014-06-25 23:07:38
阅读次数：
255
背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的....
分类：
系统相关 时间：
2014-06-24 15:05:25
阅读次数：
304
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构
化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需
要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言...
分类：
数据库 时间：
2014-06-22 22:41:52
阅读次数：
342
摘要：MapReduce程序进行单词计数。
关键词：MapReduce程序 单词计数...
分类：
其他好文 时间：
2014-06-22 19:59:49
阅读次数：
177
摘要：MapReduce程序处理专利数据集。
关键词：MapReduce程序 专利数据集...
分类：
其他好文 时间：
2014-06-22 17:03:44
阅读次数：
188
六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管理及任务生命周期管理...
分类：
其他好文 时间：
2014-06-22 14:07:49
阅读次数：
256
摘要：MapReduce程序进行数据去重。
关键词：MapReduce 数据去重...
分类：
其他好文 时间：
2014-06-21 22:35:28
阅读次数：
237
从数据爆炸开始。。。
1.1 第三次工业革命
第一次：18世纪60年代，手工工厂向机器大生产过渡，以蒸汽机的发明和使用为标志。
第二次：19世纪70年代，各种新技术新发明不断被应用于工业生产，以电力的发明使用为标志。
第三次：20世界四五十年代末，以高新技术为代表的新科学技术革命，以原子能、航天技术和电子计算机
1.2 信息技术发展...
分类：
其他好文 时间：
2014-06-21 21:12:22
阅读次数：
399
