Hive与Hbase整合 1.文档 Hive HBase Integration ...
分类：
其他好文 时间：
2019-01-06 16:38:33
阅读次数：
174
LISP的介绍：Paul Graham 的主页 http://paulgraham.com/index.html Lisp之根源 - 保罗·格雷厄姆 http://daiyuwen.freeshell.org/gb/rol/roots_of_lisp.html 创造者的鉴赏力 - 保罗·格雷厄姆 h ...
分类：
编程语言 时间：
2019-01-06 15:35:11
阅读次数：
205
接下来做的操作是：（这个操作，将程序打成jar包到集群中运行）（1）编写spark程序在线上的hive中创建表并导入数据（2）查询hive中的数据（3）将查询结果保存到MySQL中代码：objectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLeve
分类：
数据库 时间：
2019-01-05 22:52:41
阅读次数：
252
记录 Hive 常用参数的配置，如设置 Hive 的本地模式 ...
分类：
其他好文 时间：
2019-01-05 20:01:28
阅读次数：
148
0. 说明 在 Hive 中，数据库是一个文件夹，表也是文件夹 partition，是一个字段，是文件 前提：在 Hive 进行 where 子句查询的时候，会将条件语句和全表进行比对，搜索出所需的数据，性能极差，partition 就是为了避免全表扫描 1. 分区 1.1 创建非分区表 user_ ...
分类：
其他好文 时间：
2019-01-05 19:51:18
阅读次数：
169
0. 说明 DDL（Data Definition Languages）语句：数据定义语言 这些语句定义了不同的数据段、数据库、表、列、索引等数据库对象的定义。 常用的语句关键字主要包括 create、drop、alter 等。 1. alter ...
分类：
其他好文 时间：
2019-01-05 19:50:08
阅读次数：
188
0. 说明 Hive 通过 substr() 函数实现最高气温统计 1. Hive 实现最高气温统计 1.1 思路 将一行文本加载为 String 通过 substr() 函数截取年份和温度 1.2 实现 1. 创建 temp 表 2. 加载气温数据到 temp 表中 3. 编写 SQL 语句 类型 ...
分类：
其他好文 时间：
2019-01-05 18:14:15
阅读次数：
131
1、sparksql的概述（1）sparksql的介绍： SparkSQL是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 外部的结构化数据源包括JSON、Parquet(默认)、RMDBS、Hive等。当前SparkSQL使
分类：
数据库 时间：
2019-01-05 13:37:33
阅读次数：
251
0. 说明 1. Hive 实现 Word Count 方式一 1.1 思路 将每一行文本变为 Array 数组的一个元素 再通过 collection items terminated by ' ' 完成转换单行文本 最后通过表生成函数 explode 分裂 array 数组中的元素变成多行 1. ...
分类：
其他好文 时间：
2019-01-05 13:35:34
阅读次数：
121
在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处有: 在应用端不用部署Hadoop和Hive客户端； 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 有安全认证机制，并且支持自定义权限校验； 有HA机制，解决应用端的并发 ...
分类：
其他好文 时间：
2019-01-05 13:34:41
阅读次数：
204
