hive 元数据结构 Table of Contents 1. CDS 2. db相关 2.1. DBS 2.2. DATABASE_PARAMS 3. SerDe相关 3.1. SERDES 3.2. SERDES_PARAMS 4. 存储相关 4.1. SDS 4.2. SD_PARAMS 5. ...
分类：
数据库 时间：
2020-06-01 01:05:04
阅读次数：
105
一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统，可以 ...
分类：
Web程序 时间：
2020-05-31 22:07:53
阅读次数：
125
1.1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2、sqoop1与 ...
分类：
其他好文 时间：
2020-05-31 19:30:40
阅读次数：
69
第10章 Hive实战之谷粒影音 10.1 需求描述 统计硅谷影音视频网站的常规指标，各种TopN指标： 统计视频观看数Top10 统计视频类别热度Top10 统计出视频观看数最高的20个视频的所属视频类别以及对应视频类别的个数 统计视频观看数Top50所关联视频的所属类别Rank 统计每个类别中的 ...
分类：
其他好文 时间：
2020-05-30 20:22:47
阅读次数：
68
第1章 Sqoop 简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到 Hadoop 的 HDFS 中 ...
分类：
其他好文 时间：
2020-05-30 20:21:57
阅读次数：
82
一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。2）各任务单元之间存在时间先后及前后依赖关系。3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 ...
分类：
其他好文 时间：
2020-05-30 20:00:49
阅读次数：
59
第4章 DDL数据定义 4.1 创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2）避免要创建的数据库已经存在错误，增加 if not exist ...
分类：
其他好文 时间：
2020-05-30 19:43:40
阅读次数：
64
第8章 压缩和存储（Hive高级） 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1、CentOS联网 配置CentOS能连接外网。Linux虚拟机 ping www.baidu.com 是畅通的。 注意：采用root角色编译，减少文件夹权限出现问题。2、jar包准备(ha ...
分类：
其他好文 时间：
2020-05-30 19:42:06
阅读次数：
53
第1章 Hive入门 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计（分析数据的框架）。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序。 1）Hive ...
分类：
其他好文 时间：
2020-05-30 19:36:05
阅读次数：
56
第6章 查询 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: On ...
分类：
其他好文 时间：
2020-05-30 19:34:29
阅读次数：
64
