一、Impala简介
Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
二、Impala安装
1.安装要求...
分类:
其他好文 时间:
2014-07-30 09:59:03
阅读次数:
358
收集:各种开源的分布式日志收集系统:Scribe, Flume等等存储可以同时包含各种不同的存储类型,可根据不同的需求增减相应的存储类型:底层存储:能够存储大量的数据,最好具有可扩展性 HDFS S3等等关系存储:MySQL,Postgresql等等键值存储:HBase,Redis等等计算计算能力也...
分类:
其他好文 时间:
2014-07-30 09:48:23
阅读次数:
213
固定服务器角色:按照从最低级别的角色(bulkadmin)到最高级别的角色(sysadmin)的顺序进行描述:Bulkadmin:这个服务器角色的成员可以运行BULKINSERT语句。这条语句允许从文本文件中将数据导入到SQLServer2008数据库中,为需要执行大容量插入到数据库的域账户而设计。...
分类:
数据库 时间:
2014-07-29 17:03:52
阅读次数:
332
本文部分来源:http://www.it165.net/admin/html/201406/3239.html https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration创建 表:hbase_hive_1REATE TABLE....
分类:
其他好文 时间:
2014-07-29 16:51:32
阅读次数:
285
LZ4算法又称为RealtimeCompressionAlgorithm,在操作系统(linux/freeBSD)、文件系统(OpenZFS)、大数据(Hadoop)、搜索引擎(Lucene/solr)、数据库(Hbase)……都可以看到它的身影,可以说是一个非常通用的算法。LZ4最突出的地方在于它的压缩/解压速度。基础知识理解Lucene中LZ4算..
分类:
其他好文 时间:
2014-07-29 15:24:30
阅读次数:
483
本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。
随着HBase在重要的商业系统中应用的大量增加,许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复(backup and disaster recovery, BDR)机制来保证它们的企业(数据)资产。HBase和Apache Hadoop系统提供了许多内置的机制,可以快速而轻松的完成PB级...
分类:
其他好文 时间:
2014-07-29 14:47:08
阅读次数:
301
本文整理汇总了本博客自去年学习HBase以来写的所有关于HBase的相关内容。持续更新中,更多内容,敬请关注!
相关知识:
1、《布隆过滤器(Bloom Filter)》
2、《7-bit整数(Integer)压缩算法》
3、《Java NIO(上)》《Java NIO(下)》
HBase安装:
1、《CentOS分布式环境安装HBase-0.96.0》
2、《centos集群上...
分类:
其他好文 时间:
2014-07-29 12:55:37
阅读次数:
372
数据的导入导出,在很多系统里面都比较常见,这个导入导出的操作,在Winform里面比较容易实现,我曾经在之前的一篇文章《Winform开发框架之通用数据导入导出操作》介绍了在Winform里面的通用导入导出模块的设计和开发过程,但在Web上我们应该如何实现呢?本文主要介绍利用MVC4+EasyUI的...
分类:
Web程序 时间:
2014-07-29 12:12:26
阅读次数:
303
因为业务需要,需要将一批mysql数据导入到HBASE,现在先将数据从Mysql导出到HDFS。版本:hadoop CDH4.5,Hbase-0.946 1、实体类 YqBean 是我的实体类,请根据自己需要修改,实体类需要 implements Writable, DBWritable。 ...
分类:
数据库 时间:
2014-07-29 11:50:56
阅读次数:
292
案例取自streaming-app项目package com.asiainfo.ocdc.streaming.toolsimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.conf.Configurati...
分类:
其他好文 时间:
2014-07-29 11:02:26
阅读次数:
1081