二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性,RDBMS早已支持,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,IT...
分类:
其他好文 时间:
2014-12-11 15:40:47
阅读次数:
229
计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍
计算:
以一个最简单Hadoop集群来计算,需要两个头节点(Namenode)和两个数据节点(Datanode)以及3个Zookeeper结点,这样算下来每小时要5.44+2.72*2+0*3=10.88RMB,每天需要10.88*24=261.12RMB,每个月需要261.12*30=7833.6RMB,这是最低配置!...
最详细的kettle连接hadoop&hdfs图文教程...
分类:
其他好文 时间:
2014-12-11 10:26:52
阅读次数:
426
About this DocumentApache HBase (TM) is not an ACID compliant database. However, it does guarantee certain specific properties.This specification enum...
分类:
其他好文 时间:
2014-12-10 19:39:21
阅读次数:
261
之前发过一篇开发新浪微博的文章,对于大家比较感兴趣的内容之一便是如何解析新浪微博的JSON。 其实一开始的时候,也遇过一些挫折,比如直接用JsonArray和JsonObject去解析JSON内容的话,是解析不了的。 因为JSO...
分类:
编程语言 时间:
2014-12-10 12:47:15
阅读次数:
357
我们以前使用过的对hbase和hdfs进行健康检查,及剩余hdfs容量告警,简单易用
#/bin/bash
bin=`dirname $0`
bin=`cd $bin;pwd`
STATE_OK=0
STATE_WARNING=1
STATE_CRITICAL=2
STATE_UNKNOWN=3
STATE_DEPENDENT=4
source /etc/...
分类:
其他好文 时间:
2014-12-10 12:40:37
阅读次数:
171
摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案
1. Join
我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起...
分类:
其他好文 时间:
2014-12-10 10:50:33
阅读次数:
239
搞Solr这一年 去年6月份毕业到现在已经快一年半了,很庆幸从事了搜索引擎这份工作,虽然谈不上有多深入,但至少已经入门了。在这一年半里,搞了3个月的hbase和mapreduce,搞了一个月的nutch,最后搞了一年的Solr。想当初刚参加项目的时候,大家对hbase、solr一点都不懂,通过慢慢....
分类:
其他好文 时间:
2014-12-09 22:58:44
阅读次数:
230
Hadoop,HBase,Storm,Spark到底是什么?
Hadoop=HDFS+Hive+Pig+......
分类:
其他好文 时间:
2014-12-09 17:45:22
阅读次数:
183