最近，由于工作的需要，学习了基于Hadoop的一个数据仓库工具hive。遇到并解决了一些问题，但是有个select语句的细微差别值得注意。 首先来看两条hql语句： SELECT * FROM MY_TABLE where dt=2014031205 limit 10 SELECT ID,NAM.....
分类：
其他好文 时间：
2014-06-28 23:54:20
阅读次数：
400
zookeeper基本是基于API和console进行znode的操作，并没有一个比较方便的操作界面，这里也发现了taobao 伯岩写的一个工具，可以比较方便的查询zookeeper信息。工具的开发语言主要是node.js(最近比较火)，其标榜的是无阻塞的api使用。其原理主要是基于google的V...
分类：
其他好文 时间：
2014-06-18 20:03:33
阅读次数：
219
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按...
分类：
其他好文 时间：
2014-06-18 18:34:49
阅读次数：
202
sqoop版本为1.4.4，hadoop版本为2.2.0，hive版本为0.11.0，hive元数据存放位置为mysql，当使用sqoop 从mysql往hive中导入数据时，总是提示找不到所指定的hive数据库，事实上hive中已存在该数据库，sqoop中也设置了hive路 径，/etc/pro....
分类：
数据库 时间：
2014-06-18 15:06:57
阅读次数：
248
学习Storm视频教程需要具有：Java基础、Linux基础；学习Storm视频教程可以提升的技能(Storm除外)：Zookeeper、Java、Linux
用到技术：Storm集群、Zookeeper集群等
涉及项目：网站PV、UV案例实战、其他案例
Storm视频教程 Storm入门教程-Storm流计算从入门到精通-技术篇，Storm视频教程全面、系统、深入讲解Storm，采用最新的稳定版本Storm 0.9.0.1 ；注重实践，对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批...
分类：
其他好文 时间：
2014-06-18 12:38:14
阅读次数：
412
hbase org.apache.hadoop.hbase.PerformanceEvaluationUsage: java org.apache.hadoop.hbase.PerformanceEvaluation \ [--miniCluster] [--nomapred] [--rows=RO...
分类：
其他好文 时间：
2014-06-18 09:57:55
阅读次数：
543
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
HBase在大数据领域的应用越来越广泛，成为目前NoSQL数据库中表现最耀眼，呼声最高的产品之一，但就应对复杂条件的查询来说，一般认为它并不是非常适合，熟悉HBase的开发人员对此应该有一定的体会，但是基于普遍的需求，开发者们希望HBase在保持高性能优势的同时能对复杂条件的查询给予一定的支持，而本文将要介绍的正是一种在HBase现行机制下以非侵入式实现的基于二级多列索引的高性能复杂条件查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:29:49
阅读次数：
224
HBase基本的CRUD操作就不多介绍了，无非就是Put，Get，Delete三个类的运用。
现在看一下扫描技术，这种技术类似于关系型数据库的游标（cursor），并利用到了HBase底层顺序存储的特性。
使用扫描的一般步骤是：
1、创建Scan实例
2、为Scan实例增加扫描的限制条件
3、调用HTable的getScanner()方法获取ResultScanner对象
4、迭代Resul...
分类：
编程语言 时间：
2014-06-17 23:15:54
阅读次数：
388
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始，中国进入大数据风起云...
分类：
其他好文 时间：
2014-06-17 16:44:25
阅读次数：
310
