今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 ...
分类：
其他好文 时间：
2020-01-26 22:32:22
阅读次数：
95
调度系统: 1. oozie: 和hadoop、hive、spark有很强的版本依赖 ...
分类：
其他好文 时间：
2020-01-26 22:31:20
阅读次数：
91
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User Defined Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User Defined Aggregation Funcation），用户自定义聚合函数，类似在g ...
分类：
数据库 时间：
2020-01-26 19:21:32
阅读次数：
86
概述 SparkSQL 的元数据的状态有两种： 1、in_memory,用完了元数据也就丢了 2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。 换句话说，SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的 ...
分类：
数据库 时间：
2020-01-26 19:19:05
阅读次数：
102
一. 基本数据类型 对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数。 二. 集合数据类型 练习： 1）新建一个文本存储数据 2）建表并把数据加载进去 3）查看表的内容 三 ...
分类：
其他好文 时间：
2020-01-26 11:53:03
阅读次数：
57
详细文档查看：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 一. 基本查询（SELECT …FROM） 1. 全表和特定列查询 select * from emp； select empno, ename ...
分类：
其他好文 时间：
2020-01-26 11:51:42
阅读次数：
101
一. Hive基础概念 1.什么是Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序。 1）Hiv ...
分类：
其他好文 时间：
2020-01-26 11:46:27
阅读次数：
96
一. DDL数据定义 创建数据库 1）create database db_hive; 2）避免要创建的数据库已经存在错误，增加 if not exists 判断。 create database if not exists db_hive; 3）创建一个数据库，指定数据库在 HDFS 上存放的位置 ...
分类：
其他好文 时间：
2020-01-26 11:43:56
阅读次数：
67
一. 系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function extended upper; 二. 自定义函数 1.分类 1 ...
分类：
其他好文 时间：
2020-01-26 11:39:32
阅读次数：
67
执行Sqoop中import命令后报错 Warning: /opt/module/sqoop/bin/../../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your H ...
分类：
其他好文 时间：
2020-01-25 16:56:24
阅读次数：
444
