Impala与HBase整合测试说明：1、测试思路：使用sqoop将测试数据从关系数据库mysql导入到hbase中；接着进行Impala与HBase的整合测试；最后，如果环境允许，对比关系型数据库进行性能测试。2、测试环境：Cloudera5.3.0版本IP地址主机名说明172.16.30.2h1监控节点、mysql数据库172..
分类：
其他好文 时间：
2015-05-09 20:33:38
阅读次数：
187
这段时间都在学习大数据，之前的笔记本内存完全支撑不了现有的学习。跑个hive启动命令都要跑十几分钟，于是借着给自己学习的理由买了个tp440. 呵呵，废话不多说，买来笔记本后装上VMWare，运行虚拟机发现提示无法执行64位操作。本人系统是win7,64位系统。之后就是一顿度娘，发现千篇一律都是.....
分类：
系统相关 时间：
2015-05-09 13:11:18
阅读次数：
199
Spark SQL 1.2背景：了解到HDP也能够支持Spark SQL，但官方文档是版本1.2，希望支持传统数据库、hadoop平台、文本格式的整合处理 虚线表示还未实现。支持从现有Apache Hive表以及流行的Parquet列式存储格式中读取数据，数据源API通过Spark SQL提供了访....
分类：
数据库 时间：
2015-05-08 22:00:16
阅读次数：
323
schema设计
hive pattern && hiveanti-pattern
1.Table by day 按照天分割数据，在relation中，这个参数不推荐，在hive中使用
create table supply(id int,partstring,quantity int) partitioned by (int day)
alter table supply add par...
分类：
其他好文 时间：
2015-05-08 16:31:27
阅读次数：
730
吐槽阿里ODPS:SLS收录日志功能只能收取客户端前五分钟的数据，如果出故障就再也折腾不进去了，我技术挫，重指时间列，改时间，改系统时间.....问阿里技术曰：就是只能收前五钟的，原理不可说。SLS数据归档问题，日志数据中，假如只有两列，一列时间，一列json，归档到ODPS中，..
分类：
Web程序 时间：
2015-05-08 11:08:40
阅读次数：
411
创建表的语句：
Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ....
分类：
其他好文 时间：
2015-05-07 16:54:59
阅读次数：
95
[Author]: kwu -- 使用sqoop --options-file 导入hive数据...
分类：
其他好文 时间：
2015-05-07 14:32:21
阅读次数：
185
项目环境中遇到的小文件较多，起初除了NAMENODE的内存外，还是比较担心文件物理空间的占用。于是就看一下，小文件是如何占用物理空间的：前提：HDFS块大小为64MB文件副本总共3份1、批量生成小文件（均20M）2、记录测试前DFS空间使用情况目前，DFS空间已经使用50.04GB3、向HIVE..
分类：
其他好文 时间：
2015-05-07 01:08:36
阅读次数：
200
1. Hive自己如何确定reduce数： reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定： hive.exec.reducers.bytes.per.reducer（每个reduce任务处...
分类：
其他好文 时间：
2015-05-06 18:27:44
阅读次数：
210
selectt.idend_usr_id,t.end_user_nameend_usr_name,t.end_user_real_nameend_usr_nknm,t.end_user_passwordend_usr_pswd,t.end_user_birthdayend_usr_bthd,t.mobilemobl_num,t.phonephone_num,t.valid_mobile_phone_numbindg_mobl_num,t.end_user_emailend_usr_email,substr(t..
分类：
数据库 时间：
2015-05-06 18:22:57
阅读次数：
458
