当hive在执行大数据量的统计查询语句时,经常会出现下面OOM错误,具体错误提示如下:
Possible error: Out of memory due to hash maps used in map-side aggregation.
Solution: Currently hive.map.aggr.hash.percentmemory is set to 0.5. Try set...
分类:
其他好文 时间:
2014-05-09 21:08:27
阅读次数:
366
一:mysql创建一个修改表字段的存储过程drop procedure if exists
pr_test;create procedure pr_test()begin declare var int; declare var1 int; set
var=416; set var1=420; wh...
分类:
数据库 时间:
2014-05-09 20:17:20
阅读次数:
460
1、前提条件:
只需要选择一台服务器即可,这里选择安装在namenode上;安装用户为cloud-user2、安装包: sudo yum install -y hive
hive-metastore hive-server23、安装mysql: sudo yum install -y mysq...
分类:
其他好文 时间:
2014-05-09 15:38:16
阅读次数:
512
oracle 10g下有几种扫描方式,注意最后一种扫描方式,当对分区的列进行计算时,会不走分区,这跟对索引列进行计算会导致无法用索引一样。
--扫描单个分区 PARTITION RANGE SINGLE
--连续扫描多个分区 PARTITION RANGE ITERATOR
--不连续扫描多个分区 PARTITION RANGE INLIST
--扫描全分区 P...
分类:
数据库 时间:
2014-05-09 09:05:28
阅读次数:
519
由于hive也支持sql,很多人会把hql跟标准sql进行比较,甚至有的时候会直接套用。hive不支持事务也不支持索引,更不支持追加写,但是对于一般的sql都是能够支持的。但是对于一些子查询确实无法支持的,例如select
* from t_ext_1_bkdoubledelete where f1...
分类:
其他好文 时间:
2014-05-09 08:35:04
阅读次数:
295
一、基础
1、创建数据库
CREATE DATABASE database-name
2、删除数据库
drop database dbname
3、备份sql server
--- 创建 备份数据的 device
USE master
EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwi...
分类:
数据库 时间:
2014-05-09 01:30:23
阅读次数:
457
1.COPY配置文件:cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录:vimhive-env.shHADOOP_HOME=/usr/a..
分类:
其他好文 时间:
2014-05-09 00:51:29
阅读次数:
282
摘要:介绍Hadoop生态系统,从Hadoop生态系统有什么成员,成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词:Hadoop
HDFS MapReduce HBase Hive PigHadoop生态图,通俗地说,就是Hadoop核心模块和衍生的子项目。一幅Ha....
分类:
其他好文 时间:
2014-05-08 23:16:24
阅读次数:
387