数据导入HBase最常用的三种方式及实践分析
摘要：要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase
的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。
【编者按】要使用Hadoop，数据合并至...
分类：
其他好文 时间：
2014-05-15 18:15:19
阅读次数：
495
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。
...
分类：
其他好文 时间：
2014-05-15 18:13:55
阅读次数：
438
HLog概述hbase在写入数据之前会先写入MemStore，成功了再写入HLog，当MemStore的数据丢失的时候，还可以用HLog的数据来进行恢复，下面先看看HLog的图。旧版的HLog是实际上是一个SequceneFile，0.96的已经使用Protobuf来进行序列化了。从Writer和R...
分类：
其他好文 时间：
2014-05-15 07:38:50
阅读次数：
377
创建表：
hive> CREATE TABLE pokes (foo INT, bar STRING);
Creates a table called pokes with two columns, the first being an integer and the other a string
创建一个新表，结构与其他一样
hive> create table n...
分类：
其他好文 时间：
2014-05-15 07:07:58
阅读次数：
303
Shark0.9.0错误如下：
Starting the Shark Command Line Client
Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/hadoop/hive/cli/CliDriver : Unsupported major.minor version 51.0...
分类：
其他好文 时间：
2014-05-15 05:42:17
阅读次数：
375
1.我使用的Hadoop2.0-cdh4.3.0，对应hive配套版本hive-0.10.0-cdh4.3.0。
2.修改hive/conf下hive-site.xml文件，无则创建hive-site.xml,在底部添加如下内容：
[html] view
plaincopy
xml version="1.0" encoding="UTF-8"...
分类：
其他好文 时间：
2014-05-15 04:05:27
阅读次数：
341
hive执行query语句时提示错误：org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException:...
分类：
编程语言 时间：
2014-05-14 21:49:08
阅读次数：
378
很多复杂的报表项目，是借助报表工具(或插件)来实现的，下面以jasperReport举例。这些报表工具可以对传统的数据源（关系型数据库、collections、javaBeanArray）进行很好的支持。HBase的数据结构虽然与关系型数据库不一样，但HBase本身就是java开发的。有专门的javaAPI实现对HB..
分类：
其他好文 时间：
2014-05-14 18:23:58
阅读次数：
281
一、 创建表
在官方的wiki里，example是这样的：
Sql代码
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITION...
分类：
数据库 时间：
2014-05-14 14:50:27
阅读次数：
463
从这一章开始要讲Region Server这块的了，但是在讲Region
Server这块之前得讲一下StoreFile，否则后面的不好讲下去，这块是基础，Region
Sever上面的操作，大部分都是基于它来进行的。HFile概述HFile是HBase中实际存数据的文件，为HBase提供高效快速的...
分类：
其他好文 时间：
2014-05-14 11:42:39
阅读次数：
314
