启动HIV 启动hiv的前提条件是HDFS和YARN都可以正常在启动中 /apps/apache-hive-1.2.1-bin/bin/hive 查询HIV的sql语句 select sex,count(1) from t_bigdata group by male ; hive的脚本化运行使用方式 ...
分类：
其他好文 时间：
2019-06-28 15:09:43
阅读次数：
109
第1章 大数据概述本章将从故事说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的，还会介绍大数据的特性，以及大数据对我们带来的技术变革，大数据处理过程中涉及到的技术以及大数据典型应用。第2章 初识Hadoop本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史 ...
分类：
其他好文 时间：
2019-06-28 01:04:10
阅读次数：
139
1.hive-site.xml的Hive服务高级配置代码段（安全阀）中添加2个参数：hive.security.authorization.sqlstd.confwhitelist=hive.exec.pre.hookshive.exec.pre.hooks=org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec2.重启h
分类：
数据库 时间：
2019-06-27 17:53:39
阅读次数：
242
1. YUM是什么？ 1）全称：Yellow dog Updater ,Modified。 2）百度简述：是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件 ...
分类：
Web程序 时间：
2019-06-27 00:30:38
阅读次数：
187
思考：sql为什么那么强大，sql解决了什么问题？hive和spark都支持sql,ES 和flink也支持sql了解下spark为什么能够支持sql;flink为什么能够支持sql?SQL:Structured Query Language所以从字面可以看出来，只有结构化的数据才能sql查询，这个 ...
分类：
数据库 时间：
2019-06-26 16:26:31
阅读次数：
151
注意： （1）\001 是hive当中默认使用的分隔符，这个玩意儿是一个asc 码值，键盘上面打不出来 （2）linux中一行写不下，可以末尾加上 一些空格和 “ \ ”，换行继续写余下的命令： bin/sqoop import --connect jdbc:mysql://192.168.25.2 ...
分类：
其他好文 时间：
2019-06-26 13:22:18
阅读次数：
91
1.spark SQL简介 官网：http://spark.apache.org/ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程对象，叫DataFrame，并且作为分布式SQL查询引擎的作用 2.为什么要学习spark SQL 2.1 我们已经学习了Hive，它是将H ...
分类：
数据库 时间：
2019-06-26 13:21:25
阅读次数：
133
最近一直在学java的spring boot，一直没有弄明白aop面向切面编程是什么意思。看到一篇文章写得很清楚，终于弄明白了，原来跟python的装饰器一样的效果。http://www.cnblogs.com/yanbincn/archive/2012/06/01/2530377.html Asp ...
分类：
编程语言 时间：
2019-06-25 16:41:13
阅读次数：
94
在hive中，我们经常会遇到对某列进行count、sum、avg等操作计算记录数、求和、求平均值等，但这列经常会出现有null值的情况，那这些操作会不会过滤掉null能呢？ 下面我们简单测试下： with tmp as(select null as col1 union allselect 666 ...
分类：
其他好文 时间：
2019-06-25 13:34:35
阅读次数：
431
Hive查询流程分析 各个组件的作用 UI(user interface)(用户接口)：提交数据操作的窗口Driver(引擎)：负责接收数据操作，实现了会话句柄，并提供基于JDBC / ODBC的execute和fetch APIMetastore(元数据)：Hive元数据，存储所有表信息以及相关的 ...
分类：
其他好文 时间：
2019-06-24 21:14:38
阅读次数：
146
