码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
Centos中hive/hbase/hadoop/mysql实际操作及问题总结
Hive中文乱码问题众所周知,我们都是使用mysql存储hive的元数据,可以执行带有中文注释的建表文件,解决中文乱码的问题:要把元数据库设定为latin1而把存储中文的数据表的编码设定为utf-8格式,即存储在hive里的表是utf-8的。以下几种是不可行的: 1. 将meta database....
分类:数据库   时间:2014-12-18 10:22:23    阅读次数:284
Ubuntu环境下手动配置HBase
配置HBase前提:配置Hadoop(http://www.cnblogs.com/xxx0624/p/4166095.html)配置zoopkeeper(http://www.cnblogs.com/xxx0624/p/4168440.html)1. 下载HBase解压HBasetar -zxvf...
分类:系统相关   时间:2014-12-17 22:31:06    阅读次数:251
Storm-0.9.3新特性
2014年11月25日,Storm发布了0.9.3的版本。Storm 0.9.3的版本修改了100个Bug,改进了与Kafka的集成,并增加了与HDFS和HBase的集成。改进了与Kafka的集成Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0....
分类:其他好文   时间:2014-12-17 20:12:03    阅读次数:223
ETL Pentaho代码学习笔记
1、通过设置KETTLE_HOME环境变量可以让.kettle不需要在user.home下 2、默认kettle_home 为User.home,如果要自定义需要设置环境变量KETTLE_HOME 3、在.kettle目录下可放置以下文件或目录: ? ?? ? ? ? ?文...
分类:其他好文   时间:2014-12-17 19:06:14    阅读次数:250
Spark 1.1.1 环境构建及部署
开发注意事项版本: spark 1.1.1 , hadoop 2.4.0, hbase 0.98.3Guide:官网说明或者 博客园内转载1.Spark 1.1.1 uses Scala 2.10. To write applications in Scala, you will need to u...
分类:其他好文   时间:2014-12-17 17:49:06    阅读次数:132
hive和hbase整合的原因和原理
分类:其他好文   时间:2014-12-17 16:14:22    阅读次数:152
04_HBase完全分布式环境搭建
Hbase分布式详细安装步骤   Hadoop完全分布式环境已经搭建完成(参见01_Hadoop完全分布式环境搭建)。   四、安装配置Hbase Hadoop用户登录 1、下载hbase-0.94.23.tar.gz   2、解压hbase到某一目录   3、配置hbase安装目录下conf下文件hbase-env.sh,导出JAVA_HOME 文件未尾加: # The ...
分类:其他好文   时间:2014-12-17 12:54:04    阅读次数:182
akka-persistence-hbase-master源码分析之创建Journal表
akka-persistence-hbase-master是负责akka持久化的组件,采用async方式来操作hbase,讲akka的日志持久化到hbase中。 akka-persistence-hbase-master持久化之前首先要创建Journal表,关于表的配置存放在application....
分类:其他好文   时间:2014-12-17 10:40:43    阅读次数:139
HDInsight HBase的概述
HDInsight HBase的概述 什么是HBase的? HBase的是建立在Hadoop的Apache的开源的NoSQL数据库,提供了大量的非结构化和半结构化数据的随机存取和强大的一致性。它是仿照谷歌的BigTable是一个列面向家庭的数据库。数据被存储在一排内的表和数据的行是由列族分组。 HBase的是在这个意义上,无论是列也不存储在其中的数据类型需要在使用它们之前所定义的模式的更小的数据库。开放源代码是首次发布由Mike Cafarella于2007年,线性扩展处理PB级数据数千个节点。它可以依靠数...
分类:其他好文   时间:2014-12-16 11:49:47    阅读次数:205
Hive 导入 Hbase
1 用hbase工具导入 实际上市从hdfs 到hbase 的过程。 hive表的hdfs 路径为 ${hive.metastore.warehouse.dir}hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns...
分类:其他好文   时间:2014-12-16 11:34:40    阅读次数:505
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!