Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则:1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,...
分类:
其他好文 时间:
2015-08-10 17:55:51
阅读次数:
134
转自:http://www.uml.org.cn/sjjm/201508103.asp 作者:Uri Margalit 来源:InfoQ 发布于:2015-8-10TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行...
分类:
其他好文 时间:
2015-08-10 17:46:57
阅读次数:
240
在进行Hive集成Mysql作为元数据过程中,做完所有安装配置工作后,进入到hive模式,执行show databases;执行正常,接着执行show tables;时却报错。
关键错误信息如下:
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key leng...
分类:
数据库 时间:
2015-08-10 00:23:51
阅读次数:
349
[Author]: kwu --- hive命令行不打印日志,hive的命令行运行会输出mapreduce的日志,这些日志对大部分用户来说是不需要的。...
分类:
其他好文 时间:
2015-08-10 00:20:22
阅读次数:
929
首先给出原文链接: 原文链接大数据本身是一个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你能够把它比作一个厨房所以须要的各种工具。锅碗瓢盆,各有各的用处。互相之间又有重合。你能够用汤锅直接当碗吃饭喝汤,你能够用小刀或者刨子去皮。可...
分类:
其他好文 时间:
2015-08-09 13:50:21
阅读次数:
163
在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示例时,比如 Hortonworks Data Pla...
分类:
其他好文 时间:
2015-08-09 11:01:44
阅读次数:
239
笔者博文:妳那伊抹微笑博客地址:http://blog.csdn.net/u012185296个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前。妳却感觉不到我的存在技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spar...
分类:
编程语言 时间:
2015-08-09 09:26:51
阅读次数:
161
Sequoiadb作为一个文档型NoSQL数据既可以存储结构化数据也可以存储非结构化数据,对于非结构化数据只能使用原生的API进行查询,对结构化数据我们可以选择使用原生的API和开源SQL引擎,目前PostgresSQL,Hive,SparkSQL都可以作为Sequoiadb的SQL引擎,应用中该如...
分类:
数据库 时间:
2015-08-09 00:24:45
阅读次数:
219
1. Hive mysql的metastore安装准备 把hive-0.12.0.tar.gz解压到/zzy/ # tar -zxvf hive-0.12.0.tar.gz -C /zzy (-C 指定解包后的路径) 修改/etc/profile文件,将hive加入环境变量 # vim /etc/p...
分类:
其他好文 时间:
2015-08-08 13:19:02
阅读次数:
149
1.Hive 官方网址:http://hive.apache.org/ Ø 什么是Hive?(***了解***) l Hive 是建立在 Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据...
分类:
其他好文 时间:
2015-08-08 12:03:16
阅读次数:
296