hive SymlinkTextInputFormat介绍及用法...
分类：
其他好文 时间：
2015-05-10 09:44:21
阅读次数：
128
环境：hive:apache-hive-1.1.0hadoop:hadoop-2.5.0-cdh5.3.2hive元数据以及stats使用mysql进行存储。hivestats相关参数如下：hive.stats.autogather：在insertoverwrite命令时自动收集统计信息，默认开启true；设置为truehive.stats.dbclass：存储hive临时统计信息的数据库，默..
分类：
Web程序 时间：
2015-05-10 01:08:54
阅读次数：
464
我们的输入文件 hello0, 内容如下:xiaowang 28 shanghai@_@zhangsan 38 beijing@_@someone 100 unknown逻辑上有3条记录, 它们以@_@分隔. 我们将分别用旧版MapReduce API 和新版MapReduce API实现自定义Te...
Impala与HBase整合测试说明：1、测试思路：使用sqoop将测试数据从关系数据库mysql导入到hbase中；接着进行Impala与HBase的整合测试；最后，如果环境允许，对比关系型数据库进行性能测试。2、测试环境：Cloudera5.3.0版本IP地址主机名说明172.16.30.2h1监控节点、mysql数据库172..
分类：
其他好文 时间：
2015-05-09 20:33:38
阅读次数：
187
这段时间都在学习大数据，之前的笔记本内存完全支撑不了现有的学习。跑个hive启动命令都要跑十几分钟，于是借着给自己学习的理由买了个tp440. 呵呵，废话不多说，买来笔记本后装上VMWare，运行虚拟机发现提示无法执行64位操作。本人系统是win7,64位系统。之后就是一顿度娘，发现千篇一律都是.....
分类：
系统相关 时间：
2015-05-09 13:11:18
阅读次数：
199
Spark SQL 1.2背景：了解到HDP也能够支持Spark SQL，但官方文档是版本1.2，希望支持传统数据库、hadoop平台、文本格式的整合处理 虚线表示还未实现。支持从现有Apache Hive表以及流行的Parquet列式存储格式中读取数据，数据源API通过Spark SQL提供了访....
分类：
数据库 时间：
2015-05-08 22:00:16
阅读次数：
323
schema设计
hive pattern && hiveanti-pattern
1.Table by day 按照天分割数据，在relation中，这个参数不推荐，在hive中使用
create table supply(id int,partstring,quantity int) partitioned by (int day)
alter table supply add par...
分类：
其他好文 时间：
2015-05-08 16:31:27
阅读次数：
730
创建表的语句：
Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ....
分类：
其他好文 时间：
2015-05-07 16:54:59
阅读次数：
95
[Author]: kwu -- 使用sqoop --options-file 导入hive数据...
分类：
其他好文 时间：
2015-05-07 14:32:21
阅读次数：
185
项目环境中遇到的小文件较多，起初除了NAMENODE的内存外，还是比较担心文件物理空间的占用。于是就看一下，小文件是如何占用物理空间的：前提：HDFS块大小为64MB文件副本总共3份1、批量生成小文件（均20M）2、记录测试前DFS空间使用情况目前，DFS空间已经使用50.04GB3、向HIVE..
分类：
其他好文 时间：
2015-05-07 01:08:36
阅读次数：
200
