最近一直在学java的spring boot，一直没有弄明白aop面向切面编程是什么意思。看到一篇文章写得很清楚，终于弄明白了，原来跟python的装饰器一样的效果。http://www.cnblogs.com/yanbincn/archive/2012/06/01/2530377.html Asp ...
分类：
编程语言 时间：
2019-06-25 16:41:13
阅读次数：
94
在hive中，我们经常会遇到对某列进行count、sum、avg等操作计算记录数、求和、求平均值等，但这列经常会出现有null值的情况，那这些操作会不会过滤掉null能呢？ 下面我们简单测试下： with tmp as(select null as col1 union allselect 666 ...
分类：
其他好文 时间：
2019-06-25 13:34:35
阅读次数：
431
Hive查询流程分析 各个组件的作用 UI(user interface)(用户接口)：提交数据操作的窗口Driver(引擎)：负责接收数据操作，实现了会话句柄，并提供基于JDBC / ODBC的execute和fetch APIMetastore(元数据)：Hive元数据，存储所有表信息以及相关的 ...
分类：
其他好文 时间：
2019-06-24 21:14:38
阅读次数：
146
[toc] 同步： 题目 Farmer John has recently purchased a new car online, but in his haste he accidentally clicked the "Submit" button twice when selecting ex ...
分类：
其他好文 时间：
2019-06-24 18:16:29
阅读次数：
112
1、官方文档说法： Oracle支持在表空间（tablespace）、数据表（table）和分区（Partition）级别的压缩，如果设置为表空间级别，那么默认将该表空间中的全部的表都进行压缩。压缩操作可以在数据单条插入、数据修改和数据批量导入时发生。 As your database grows ...
分类：
数据库 时间：
2019-06-23 21:18:21
阅读次数：
145
收集hive的log hive的运行日志： /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/log/hive.log* memory*hdfs /user/flume/hive-log 1.需要四个包： 传到/home/hadoop/CDH5.3.6/flume ...
分类：
Web程序 时间：
2019-06-23 20:43:26
阅读次数：
119
Hive 自定义函数 UDF UDTF UDAF 1.UDF：用户定义（普通）函数，只对单行数值产生作用； UDF只能实现一进一出的操作。 定义udf 计算两个数最小值 public class Min extends UDF { public Double evaluate(Double a, D ...
分类：
其他好文 时间：
2019-06-23 15:36:00
阅读次数：
84
灵活使用spark强大的外部数据源功能，本文包括json、mysql、hive三种外部数据源
分类：
数据库 时间：
2019-06-22 23:39:59
阅读次数：
176
一 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 Hive是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRe ...
分类：
数据库 时间：
2019-06-22 19:45:45
阅读次数：
144
