Hadoop核心技术厂商Cloudera将在2014/06推出hadoop
Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类:
数据库 时间:
2014-05-12 11:45:03
阅读次数:
457
当hive在执行大数据量的统计查询语句时,经常会出现下面OOM错误,具体错误提示如下:
Possible error: Out of memory due to hash maps used in map-side aggregation.
Solution: Currently hive.map.aggr.hash.percentmemory is set to 0.5. Try set...
分类:
其他好文 时间:
2014-05-09 21:08:27
阅读次数:
366
1、前提条件:
只需要选择一台服务器即可,这里选择安装在namenode上;安装用户为cloud-user2、安装包: sudo yum install -y hive
hive-metastore hive-server23、安装mysql: sudo yum install -y mysq...
分类:
其他好文 时间:
2014-05-09 15:38:16
阅读次数:
512
由于hive也支持sql,很多人会把hql跟标准sql进行比较,甚至有的时候会直接套用。hive不支持事务也不支持索引,更不支持追加写,但是对于一般的sql都是能够支持的。但是对于一些子查询确实无法支持的,例如select
* from t_ext_1_bkdoubledelete where f1...
分类:
其他好文 时间:
2014-05-09 08:35:04
阅读次数:
295
1.COPY配置文件:cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录:vimhive-env.shHADOOP_HOME=/usr/a..
分类:
其他好文 时间:
2014-05-09 00:51:29
阅读次数:
282
摘要:介绍Hadoop生态系统,从Hadoop生态系统有什么成员,成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词:Hadoop
HDFS MapReduce HBase Hive PigHadoop生态图,通俗地说,就是Hadoop核心模块和衍生的子项目。一幅Ha....
分类:
其他好文 时间:
2014-05-08 23:16:24
阅读次数:
387
hive 中的union all是不能在sql语句的第一层使用的,否则会报Top level
UNION is not supported currently 错误;例如如下的方式:select id,name from user where type
= 1union allselect id,n...
分类:
其他好文 时间:
2014-05-08 07:17:42
阅读次数:
420
默认情况下,hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库1、安装好mysql ,sudo apt-get
install mysql-server2、创建mysql用户hadoop $mysql-uroot-p 进入root用户 mysql>.....
分类:
数据库 时间:
2014-05-07 20:40:00
阅读次数:
554
内容来源:http://blog.csdn.net/azhao_dn/article/details/6921429在hive上执行查询:select
count(*) from user_active_vv_20110801_31 where active_type_3>0 UNION ALL s...
分类:
其他好文 时间:
2014-05-07 20:26:30
阅读次数:
460