一、Impala简单介绍Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用同样的统一存储平台，Impala也使用同样的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。...
分类：
其他好文 时间：
2014-10-28 15:23:23
阅读次数：
467
我们知道，在第一次海量数据批量入库时，我们会选择使用BulkLoad的方式。简单介绍一下BulkLoad原理方式:(1)通过MapReduce的方式，在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到相应的HBa...
分类：
其他好文 时间：
2014-10-28 15:08:05
阅读次数：
273
启动hbase集群时，发现最后一个节点的HRegionServer进程没有成功启动，查找相关log，发现：时间超过了允许的时间下限，故需要同步集群时钟：（1）每个节点安装ntp服务 yum -y install ntp（2）ntpdate time.stdtime.gov.tw（台湾）重新启动hba...
分类：
系统相关 时间：
2014-10-25 18:38:09
阅读次数：
193
流程：1.X端发送数据到kafka（如web端发送的订单数据）。2.storm从kafka获取数据进行分析。 a.storm与kafka整合，获得数据——Sport b.storm对数据进行分析——Bolt 3.结果保存和显示（或者传给别人）。 a.将结果保存到DB（Hbase，redi...
分类：
其他好文 时间：
2014-10-25 17:13:49
阅读次数：
220
问题描述：VC中使用Apache thrift时，如果字符串中包含中文，会出现乱码问题，这个问题的原因是由于thrift为了达到跨语言交互而使用了UTF-8格式发送字符串，这点对java或者C#不会造成影响，但是在VC中UTF-8却很成问题。VC中的string编码随项目编码一般是multibyte...
分类：
其他好文 时间：
2014-10-25 11:47:04
阅读次数：
244
Apache HBase是Hadoop的分布式开源的存储管理工具，非常适合随机实时的io操作。
我们知道，Hadoop的Sequence File是一个顺序读写，批量处理的系统。但是为什么HBase能做到随机的，实时的io操作呢？
Hadoop底层使用Sequence File文件格式存储，Sequence File允许以追加的方式增加k-v（Key-Value）数据，根据hdfs的appen...
分类：
其他好文 时间：
2014-10-24 20:54:39
阅读次数：
269
hadoop环境介绍：master服务：node1slave服务器：node2，node3，node4mysql服务器：node29Thrift安装在node1服务器上！相关软件版本：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65Thrift版本：thrift-0.9.0thrift安装链接：..
分类：
编程语言 时间：
2014-10-24 19:07:42
阅读次数：
213
HBase的SQL能力一直不足。Phoenix缺乏Join能力，eBay提出的kylin还不够简洁，facebook Presto的HBase连接器还没公开。那么，Trafodion来了。它在HBase上提供了标准SQL功能，并支持事务OLTP。Trafodion是HP的开源举措，培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方案。惠普拥有超过20年的积累，针对大数据的事务或业务工作负载，已经开发事务的SQL技术进入数据库technologyand解决方案。 Trafodion给Had...
分类：
数据库 时间：
2014-10-24 16:41:48
阅读次数：
440
起因：工作需要，我需要每5分钟从hbase中，导出一部分数据，然后导入到ES中，但是在开始阶段编写的python脚本，我发现从hbase读取数据的速度较慢，耗费大量的时间，影响整个导数过程，恐怕无法在5分钟内完成导数工作
在咨询了老人后，采取部门优化策略，并记录了实验结果。...
分类：
其他好文 时间：
2014-10-24 14:42:18
阅读次数：
205
Thrift是一种可伸缩的跨语言服务的发展软件框架。它结合了功能强大的软件堆栈的代码生成引擎，以建设服务，工作效率和无缝地与C + +，C#，Java，Python和PHP和Ruby结合。 ? ? ?Thrift通过接口定义语言...
分类：
其他好文 时间：
2014-10-23 19:25:32
阅读次数：
149
