OpenTSDB-2.0.0安装布署2014-02-27 11:07:49|分类:大数据|标签:hadoop|举报|字号订阅1、介绍OpenTSDB是一个架构在Hbase系统之上的实时监控信息收集和展示平台。它支持秒级数据采集所有metrics,支持永久存储,可以做容量规划,并很容易的接入到现有的报...
分类:
数据库 时间:
2014-07-07 08:00:49
阅读次数:
780
通过HBase client访问HBase时,配置如下:Configuration conf = HBaseConfiguration.create();// Zookeeper地址 conf.set(HConstants.ZOOKEEPER_QUORUM, "master.hadoop");//....
分类:
其他好文 时间:
2014-07-07 00:38:13
阅读次数:
250
背景是设计一个实时数据接入的模块,负责接收客户端的实时数据写入(如日志流,点击流),数据支持直接下沉到HBase上(后续提供HBase上的查询),或先持久化到Kafka里,方便后续进行一些计算和处理,再下沉到文件系统或做别的输出。
在设计中,对于客户端和服务端有这么些目标。
客户端需要支持多语言(Java,C++),做得尽量轻量级,只要连上服务端的ip:port,以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理,服务端的负载均衡对客户端是透明的。
服务端想要做的是一个去中心...
分类:
其他好文 时间:
2014-07-04 08:59:19
阅读次数:
552
HBase Shell
HBase shell使用起来最方便,进入HBase shell控制台即可使用。
$ $HBASE_HOME/bin/hbase shell
常见操作有create(创建表)/put(插入或更新数据)/get(根据rowkey查询)/scan(范围查询)/delete(删除列)/deleteAll(根据rowkey删除整行数据)/disable&drop(禁用表之后再...
分类:
编程语言 时间:
2014-07-04 08:12:54
阅读次数:
383
之前一直用phpHiveAdmin,也一直在关注hue,最近打算调研一下hue,hue在最近两年发展很快,页面效果和功能上都有很大程度的提升,所支持的服务也越来越多,除了hive,hbase,目前还支持sqoop,impala,pig等。hue的一个大致架构如下图所示核心服务是HueServer,在本地使用SQLLite作..
分类:
其他好文 时间:
2014-07-04 06:16:59
阅读次数:
469
具体说法就是可以缓存变量信息。设置:Yii::app()->cache->set(名字, 值, 过期时间);使用:Yii::app()->cache->get(名字);删除:Yii::app()->cache->delete(名字);清空:Yii:app()->cache->flush();缓存数据...
分类:
其他好文 时间:
2014-07-03 23:34:15
阅读次数:
462
HBase开发环境搭建过程中可能遇到的异常:No FileSystem for scheme: hdfs...
分类:
其他好文 时间:
2014-07-03 17:10:28
阅读次数:
295
Eclipse+Maven搭建HBase开发环境及HBaseDAO代码示例...
分类:
系统相关 时间:
2014-07-03 16:06:48
阅读次数:
268
我们看HConnection的getTable方法描述:
getTable
HTableInterface getTable(String tableName)
throws IOException
Retrieve an HTableInterface implementation for access to a table....
分类:
其他好文 时间:
2014-07-03 15:53:20
阅读次数:
243
Coprocessor是HBase 0.92.0引入的特性。使用Coprocessor,可以将一些计算逻辑下推到HBase节点,HBase由一个单纯的存储系统升级为分布式数据处理平台。
Coprocessor分为两种:Observer和Endpoint。Observer能修改扩展已有的客户端操作功能,而Endpoint能引入新的客户端操作。
Observer
Observer的作用类似于数据...
分类:
其他好文 时间:
2014-07-03 15:35:50
阅读次数:
247