今天学习了一下Hive的自定义函数，于是乎想练习一下在本地编写一个自定义的函数，然后打包上传到集群，再进行执行的过程。但是中间遇到了一些小挫折，就是当我打包的时候，除了导入正常所需要的org.apache.hive包之外，并没导入其他的包。但是开始打包以后，报错了，报错信息如下： Could not ...
分类：
编程语言 时间：
2020-07-01 11:03:18
阅读次数：
199
###自定义函数 Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 用户自定义函数类别分为以下三种 UDF ...
分类：
其他好文 时间：
2020-06-30 20:22:42
阅读次数：
57
基本方法又可以分为三种：抽象方法（Abstract Method）、具体方法（Concrete Method）和钩子方法（Hook Method）。 这是我在《java与模式》书里看到的一种说法，觉得很新鲜，因为在我的印象中没有以这种方式来对方法分类，可能这也就是在设计模式中的叫法。 这三种方法也是 ...
分类：
其他好文 时间：
2020-06-30 17:34:50
阅读次数：
65
一、概述 Hive是什么？ Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用 ...
分类：
其他好文 时间：
2020-06-30 17:16:56
阅读次数：
54
React Hooks 概念 为什么叫 React Hooks. 阮一峰解释 React Hooks React Hooks 的意思是，组件尽量写成纯函数，如果需要外部功能和副作用，就用钩子把外部代码"钩"进来。 React Hooks 就是那些钩子。 你需要什么功能，就使用什么钩子。React 默 ...
分类：
其他好文 时间：
2020-06-30 00:46:30
阅读次数：
50
MapReduce计算模型中，如果两个数据集的关联，并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联，那么会导致大量数据分发到一个节点计算，使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型，而是计算思想模型，比如spark、flink等，甚至更广阔 ...
分类：
其他好文 时间：
2020-06-30 00:16:31
阅读次数：
68
三范式理解 第一范式： 属性不可分割性 如： 学生表(姓名，年龄，性别，班级，宿舍号，家庭成员) 其中家庭成员为可分割的所以不符合第一范式 第二范式： 不存在组合关键字中的某些字段决定非关键字段的情况 如： (学号, 课程名称) → (姓名, 年龄, 成绩, 学分) 这个数据库表不满足第二范式，因为 ...
分类：
其他好文 时间：
2020-06-29 23:06:38
阅读次数：
102
大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，很多国家，如中国、美国以及欧盟等都已将大数据列入国家发展战略，微软、谷歌、百度以及亚马逊等大型企业也将大数据技术列为未来发展的关键筹码，可见，大数据技术在当今乃至未来的重要性！ 大数 ...
分类：
其他好文 时间：
2020-06-29 11:48:57
阅读次数：
47
Running LLAP as a YARN Service 因为 Apache Slider 已经不维护了，下面介绍 不使用 Slider 的 LLAP使用方式。 参考： https://blog.cloudera.com/apache-hive-llap-as-a-yarn-service/ 将 ...
分类：
其他好文 时间：
2020-06-28 12:39:20
阅读次数：
108
报错详情： 从报错信息来看： 一，java.lang.NoSuchMethodError 原因：1.系统找不到相关jar包 2.同一类型的 jar 包有不同版本存在，系统无法决定使用哪一个 二，com.google.common.base.Preconditions.checkArgument 根据 ...
分类：
编程语言 时间：
2020-06-28 09:53:44
阅读次数：
146
