码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
HBase系列文章汇总
本文整理汇总了本博客自去年学习HBase以来写的所有关于HBase的相关内容。持续更新中,更多内容,敬请关注! 相关知识: 1、《布隆过滤器(Bloom Filter)》 2、《7-bit整数(Integer)压缩算法》 3、《Java NIO(上)》《Java NIO(下)》 HBase安装: 1、《CentOS分布式环境安装HBase-0.96.0》 2、《centos集群上...
分类:其他好文   时间:2014-07-29 12:55:37    阅读次数:372
用mapreduce实现将mysql数据导出到HDFS上
因为业务需要,需要将一批mysql数据导入到HBASE,现在先将数据从Mysql导出到HDFS。版本:hadoop CDH4.5,Hbase-0.946 1、实体类 YqBean 是我的实体类,请根据自己需要修改,实体类需要 implements Writable, DBWritable。 ...
分类:数据库   时间:2014-07-29 11:50:56    阅读次数:292
scala操作hbase案例
案例取自streaming-app项目package com.asiainfo.ocdc.streaming.toolsimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.conf.Configurati...
分类:其他好文   时间:2014-07-29 11:02:26    阅读次数:1081
HBase与MongDB等NoSQL数据库对比
转载请注明出处: jiq?钦's technical Blog - 季义钦 一、开篇 淘宝之前使用的存储层架构一直是MySQL数据库,配合以MongDB,Tair等存储。 MySQL由于开源,并且生态系统良好,本身拥有分库分表等多种解决方案,因此很长一段时间内都满足淘宝大量业务的需求。但是由于业务的多样化发展,有越来越多的业务系统的需求开始发生了变化。一般来说有以下几类变化: (1)...
分类:数据库   时间:2014-07-27 11:22:22    阅读次数:446
HBase 实战(2)--时间序列检索和面检索的应用场景实战
前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇主要讲述面向时间序列/面检索的应用场景时, 如何利用HBase的特性去处理和优化. 构造应用场景 某气象局对各个站点...
分类:其他好文   时间:2014-07-26 16:49:51    阅读次数:381
ganglia收集hbase的metrics
Ganglia监控软件主要是用来监控系统性能的软件,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。 本言讲解如何利用ganglia监控hbase指标,过滤无用的指标,并实现单独管理 hadoop metrics system 的功能,修改指标配置不用重启hbase。...
分类:其他好文   时间:2014-07-26 02:41:16    阅读次数:385
HBase 性能优化笔记
1 hbase.hregion.max.filesize应该设置多少合适2 autoflush=false的影响3 从性能的角度谈table中family和qualifier的设置4 hbase.regionserver.handler.count详解1 hbase.hregion.max.file...
分类:其他好文   时间:2014-07-26 01:08:36    阅读次数:194
hbase -MR将输出输出到hbase里面示例
1、主要是设置Reduce端输出的value类型直接上代码吧:注释就免了吧,大家应该很熟悉了。package hbase;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf...
分类:其他好文   时间:2014-07-25 19:04:02    阅读次数:271
hbase jave编程
1、搭建环境 复制linux下已配置搭建好的hbase目录进入windows里面,当然使用linux开发的可以不用。 新建java工程,将hbase目录下的jar和lib下的jar包添加到类路径下。 同时增加外部Class Folder将hbase的conf目录增加进来 多数连接操作就是因为没...
分类:其他好文   时间:2014-07-25 16:48:41    阅读次数:266
集成Nutch/Hbase/Solr构建搜索引擎之三:内容修改
1、从content域中搜索 从solr的example中得到的solrConfig.xml中,qf的定义如下: [html] view plaincopy str name="qf">      text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4...
分类:其他好文   时间:2014-07-24 23:31:23    阅读次数:211
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!