如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。
Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。但这与之前有什么不同?
现今企业数据仓库和关系型数据库擅长处理结...
分类:
其他好文 时间:
2015-07-12 09:47:21
阅读次数:
149
由于Hive依赖于Hadoop,安装Hive之前必须确认Hadoop可用,关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤,这里不再叙述。1.下载Hive安装包
下载地址为:http://www.apache.org/dyn/closer.cgi/hive(或点击下面链接),选择一个稳定版本,假设下载的版本为:apache-hive-1.0.1-bin.tar.gz,解压:t...
分类:
数据库 时间:
2015-07-12 09:42:38
阅读次数:
230
azkaban支持shell、java、mapreduce以及hive的工作流调度,在对这些不同类型任务调度之前需要配置所对应的插件;azkaban整体分为两部分azkaban executor server(负责任务调度的处理)、azkaban web server(提供web ui可视化操作);
目前采用的版本插件均为2.5.0 完整包下载
1、编译
azk...
分类:
其他好文 时间:
2015-07-10 15:18:04
阅读次数:
558
Zeppelin介绍Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化。背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时的demo。Zeppelin可实现你所需要的:...
分类:
Web程序 时间:
2015-07-10 09:33:20
阅读次数:
257
1、演示多列转为单行
数据文件及内容: student.txt
xiaoming|english|92.0
xiaoming|chinese|98.0
xiaoming|math|89.5
huahua|chinese|80.0
huahua|math|89.5
创建表studnet:
create table student(name string,subject strin...
分类:
其他好文 时间:
2015-07-09 00:54:01
阅读次数:
166
本位为转载,原地址为:http://www.cnblogs.com/BlueBreeze/p/4232421.html#创建新表hive> CREATE TABLE t_hive (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED...
分类:
其他好文 时间:
2015-07-08 20:36:45
阅读次数:
124
参考资料 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-HiveOperatorsandUserDefinedFunctions%28UDFs%29显示显示函数信息SHOW ...
分类:
其他好文 时间:
2015-07-08 20:22:25
阅读次数:
165
hive编程指南--employees表数据定义...
分类:
其他好文 时间:
2015-07-07 19:32:01
阅读次数:
117
一、准备环境 前提条件已经安装好了hbase,hive 检测hive/lib目录下是否含有:hive-hbase-handler-版本.jar(通过此文件和hbase通信) ? 二、拷贝文件 ? 进入hbase的lib目录下,拷贝如下文件到:hive的lib目录下 ...
分类:
其他好文 时间:
2015-07-06 20:14:22
阅读次数:
98
Hive 接口介绍(Web UI/JDBC)实验简介本次实验学习 Hive 的两种接口:Web UI 以及 JDBC。一、实验环境说明1. 环境登录无需密码自动登录,系统用户名shiyanlou,密码shiyanlou2. 环境介绍本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面...
分类:
数据库 时间:
2015-07-05 19:55:22
阅读次数:
327