Hive中文乱码问题众所周知,我们都是使用mysql存储hive的元数据,可以执行带有中文注释的建表文件,解决中文乱码的问题:要把元数据库设定为latin1而把存储中文的数据表的编码设定为utf-8格式,即存储在hive里的表是utf-8的。以下几种是不可行的: 1. 将meta database....
分类:
数据库 时间:
2014-12-18 10:22:23
阅读次数:
284
配置HBase前提:配置Hadoop(http://www.cnblogs.com/xxx0624/p/4166095.html)配置zoopkeeper(http://www.cnblogs.com/xxx0624/p/4168440.html)1. 下载HBase解压HBasetar -zxvf...
分类:
系统相关 时间:
2014-12-17 22:31:06
阅读次数:
251
2014年11月25日,Storm发布了0.9.3的版本。Storm 0.9.3的版本修改了100个Bug,改进了与Kafka的集成,并增加了与HDFS和HBase的集成。改进了与Kafka的集成Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0....
分类:
其他好文 时间:
2014-12-17 20:12:03
阅读次数:
223
1、通过设置KETTLE_HOME环境变量可以让.kettle不需要在user.home下 2、默认kettle_home 为User.home,如果要自定义需要设置环境变量KETTLE_HOME 3、在.kettle目录下可放置以下文件或目录: ? ?? ? ? ? ?文...
分类:
其他好文 时间:
2014-12-17 19:06:14
阅读次数:
250
开发注意事项版本: spark 1.1.1 , hadoop 2.4.0, hbase 0.98.3Guide:官网说明或者 博客园内转载1.Spark 1.1.1 uses Scala 2.10. To write applications in Scala, you will need to u...
分类:
其他好文 时间:
2014-12-17 17:49:06
阅读次数:
132
Hbase分布式详细安装步骤
Hadoop完全分布式环境已经搭建完成(参见01_Hadoop完全分布式环境搭建)。
四、安装配置Hbase
Hadoop用户登录
1、下载hbase-0.94.23.tar.gz
2、解压hbase到某一目录
3、配置hbase安装目录下conf下文件hbase-env.sh,导出JAVA_HOME
文件未尾加:
# The ...
分类:
其他好文 时间:
2014-12-17 12:54:04
阅读次数:
182
akka-persistence-hbase-master是负责akka持久化的组件,采用async方式来操作hbase,讲akka的日志持久化到hbase中。 akka-persistence-hbase-master持久化之前首先要创建Journal表,关于表的配置存放在application....
分类:
其他好文 时间:
2014-12-17 10:40:43
阅读次数:
139
HDInsight HBase的概述
什么是HBase的?
HBase的是建立在Hadoop的Apache的开源的NoSQL数据库,提供了大量的非结构化和半结构化数据的随机存取和强大的一致性。它是仿照谷歌的BigTable是一个列面向家庭的数据库。数据被存储在一排内的表和数据的行是由列族分组。 HBase的是在这个意义上,无论是列也不存储在其中的数据类型需要在使用它们之前所定义的模式的更小的数据库。开放源代码是首次发布由Mike Cafarella于2007年,线性扩展处理PB级数据数千个节点。它可以依靠数...
分类:
其他好文 时间:
2014-12-16 11:49:47
阅读次数:
205
1 用hbase工具导入 实际上市从hdfs 到hbase 的过程。 hive表的hdfs 路径为 ${hive.metastore.warehouse.dir}hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns...
分类:
其他好文 时间:
2014-12-16 11:34:40
阅读次数:
505