Hive是建立在 Hadoop 上的数据仓库基础构架，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分 ...
分类：
其他好文 时间：
2016-05-09 12:31:28
阅读次数：
161
Spark学习五：spark sql标签（空格分隔）： SparkSpark学习五spark sql
一概述
二Spark的发展历史
三Spark sql和hive对比
四spark sql 架构
五sprk sql访问hive数据
六catalyst
七thriftserver
八Dataframe
九加载外部数据源
Spark SQL强大诞生了
一，概述：二，Spark的发展历史三，Spark...
分类：
数据库 时间：
2016-05-09 07:02:30
阅读次数：
450
参考资料： hive安装手册。 Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装 http://m.blog.itpub.net/30089851/viewspace-2082805/ 安装环境 Ubuntu 12.04 server java 1.7.0_95 hado ...
分类：
数据库 时间：
2016-05-08 14:54:54
阅读次数：
505
一。HIVE streaming 在Hive中，需要实现Hive中的函数无法实现的功能时，就可以用Streaming来实现。其原理可以理解成：用HQL语句之外的语言，如Python、Shell来实现这些功能，同时配合HQL语句，以实现特殊的功能。 二。 实例 1. 日志文件的格式 2. 处理的目的 ...
分类：
系统相关 时间：
2016-05-07 14:58:46
阅读次数：
206
github地址：https://github.com/qindongliang/hive-solr
欢迎大家fork和使用
关于这个项目的介绍，请参考散仙前面的文章：
http://qindongliang.iteye.com/blog/2283862
最新更新：
（1）添加了对solrcloud集群的支持
（2）修复了在反序列时对于hive中null列和空值的处...
分类：
其他好文 时间：
2016-05-07 10:58:05
阅读次数：
151
错误描述：SQL三张表做join运行出错；用hive执行报错如下：
Diagnostic Messages for this Task:
Container [pid=27756,containerID=container_1460459369308_5864_01_000570] is running beyond physical memory limits. Current usag...
分类：
数据库 时间：
2016-05-07 07:36:46
阅读次数：
5854
如果我们想展示hive中的数据,则可以使用Kibana展示工具,而在这之前需要把hive表数据导入到es中,这就用到了ES-Hadoop插件.
插件安装:
下载地址：https://github.com/elasticsearch/elasticsearch-hadoop#readme
add上面的jar包到hive
hive –e “add jar elasticsear...
分类：
其他好文 时间：
2016-05-06 16:26:46
阅读次数：
1039
一、排序和聚集
hive中的order by能够预期产生完全排序的结果，但这个排序的过程只是使用一个reduce任务来完成的，这个面对大规模的数据集肯定不可行的
因此
sort by出现，它可以为每个reduce任务产生一个排序文件
distribute by
可以控制某个特定行应该到哪个reducer，目的在于进行后续的聚集操作
例如
from record2
select ye...
分类：
其他好文 时间：
2016-05-06 15:27:42
阅读次数：
208
原文出处： 夏天的森林 开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么， ...
分类：
其他好文 时间：
2016-05-05 22:04:27
阅读次数：
317
第一部分：用户管理 创建用户：CREATE DATABASE XXX 查看用户：SHOW DATABASES; 关键查看用户：show databases like 'de.*' 讲解：创建一个用户就等于在物理目录下创建了一个文件，该文件是以.db结尾的， 默认的路径是：/user/hive/war ...
分类：
其他好文 时间：
2016-05-05 21:57:57
阅读次数：
188
