1.Hive不存储数据，Hive需要分析计算的数据，以及计算结果后的数据实际存储在分布式系统上，如HDFS上。 2.Hive某种程度来说也不进行数据计算，只是个解释器，只是将用户需要对数据处理的逻辑，通过SQL编程提交后解释成MapReduce程序，然后将这个MR程序提交给Yarn进行调度执行。所以 ...
分类：
数据库 时间：
2019-04-12 10:29:18
阅读次数：
238
创建 在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口，创建DataFrame有三种方式：通过Spark的数据源进行创建；从一个存在的RDD进行转换；还可以从Hive Table进行查询返回。 读取json文件创建DataFrame 注意：普通临时view是S ...
分类：
数据库 时间：
2019-04-11 14:33:27
阅读次数：
183
一、Hive测试 1.查看数据库 show databases; 2.使用某个数据库，如默认数据库 user default; 3.创建表 create table if not exist itstar(id int,name string); 4.插入数据 insert into table i ...
分类：
其他好文 时间：
2019-04-10 13:50:57
阅读次数：
137
1、首先根据alert跟踪日志发现归档空间满，路径大致如下：cd $ORACLE_BASE/diag/rdbms/jsswgsjk/jsswgsjk1/tracetail -f alert_jsswgsjk1.log 2、sqlplus 执行命令结果：--可以看出没有正确使用归档盘：+ARCH 3、 ...
分类：
数据库 时间：
2019-04-08 15:31:14
阅读次数：
154
current_date() 获取当天时间 结果是 实际操作中，这种写法只能获取日期是今天的数据，不适合数据重跑。 更合适的写法是 ，将日期作为外部参数传入： ...
分类：
其他好文 时间：
2019-04-08 13:51:21
阅读次数：
5641
安装包： apache-hive-2.1.1-bin.tar.gz 安装步骤： 1.上传 apache-hive-2.1.1-bin.tar.gz 到linux; 2.解压文件： tar zxvf apache-hive-2.1.1-bin.tar.gz 3.安装mysql (仅支持mysql 5. ...
分类：
其他好文 时间：
2019-04-08 01:14:32
阅读次数：
150
https://www.cnblogs.com/kundeg/archive/2018/03/06/7247934.html https://www.cnblogs.com/qiaozhoulin/p/5818023.html https://blog.csdn.net/w_t_y_y/articl ...
分类：
系统相关 时间：
2019-04-07 13:09:57
阅读次数：
176
(下面是c++) https://www.cnblogs.com/47088845/p/5706496.html https://www.cnblogs.com/shiyingzhi/p/7896259.html https://www.2cto.com/database/201804/738287 ...
分类：
数据库 时间：
2019-04-07 12:37:41
阅读次数：
193
一、使用MapReduce的方式进行词频统计 （1）在hadoop根目录下创建input输入文件夹，这和在HDFS用户目录下创建input文件夹是两件不同的事情。 （2）在input文件夹中创建两个测试文件file1.txt和file2.txt。 知识点延伸: （3）调用MapReduce程序对in ...
分类：
其他好文 时间：
2019-04-07 00:20:34
阅读次数：
261
（一）Linux基础（2）1、Linux上的文件管理类命令都有哪些，其常用的使用方法及其相关示例演示。Linux上的文件管理类命令有：cp.mv,rm2、使用命令行展开功能，创建/tmp/a1,/tmp/a2,/tmp/a1/a,/tmp/a1/b，在/tmp目录下创建目录：x_y,x_z,q_y,q_z3、文件的元数据信息有哪些，分别表示什么含义，如何查看？如何修改文件的时间戳信息。4、在/tm
分类：
系统相关 时间：
2019-04-06 19:07:05
阅读次数：
223
