MapReduce计算模型中，如果两个数据集的关联，并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联，那么会导致大量数据分发到一个节点计算，使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型，而是计算思想模型，比如spark、flink等，甚至更广阔 ...
分类：
其他好文 时间：
2020-06-30 00:16:31
阅读次数：
68
三范式理解 第一范式： 属性不可分割性 如： 学生表(姓名，年龄，性别，班级，宿舍号，家庭成员) 其中家庭成员为可分割的所以不符合第一范式 第二范式： 不存在组合关键字中的某些字段决定非关键字段的情况 如： (学号, 课程名称) → (姓名, 年龄, 成绩, 学分) 这个数据库表不满足第二范式，因为 ...
分类：
其他好文 时间：
2020-06-29 23:06:38
阅读次数：
102
大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，很多国家，如中国、美国以及欧盟等都已将大数据列入国家发展战略，微软、谷歌、百度以及亚马逊等大型企业也将大数据技术列为未来发展的关键筹码，可见，大数据技术在当今乃至未来的重要性！ 大数 ...
分类：
其他好文 时间：
2020-06-29 11:48:57
阅读次数：
47
Running LLAP as a YARN Service 因为 Apache Slider 已经不维护了，下面介绍 不使用 Slider 的 LLAP使用方式。 参考： https://blog.cloudera.com/apache-hive-llap-as-a-yarn-service/ 将 ...
分类：
其他好文 时间：
2020-06-28 12:39:20
阅读次数：
108
报错详情： 从报错信息来看： 一，java.lang.NoSuchMethodError 原因：1.系统找不到相关jar包 2.同一类型的 jar 包有不同版本存在，系统无法决定使用哪一个 二，com.google.common.base.Preconditions.checkArgument 根据 ...
分类：
编程语言 时间：
2020-06-28 09:53:44
阅读次数：
146
目录 Hive的下载 Hive的安装 1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。 2、上传Hive安装包 3、解压安装包 4、修改配置文件 5、 一定要记得加入 MySQL 驱动包（mysql-connector-java-5.1.40-bin.jar）该 jar 包放置在 ...
分类：
其他好文 时间：
2020-06-28 09:40:00
阅读次数：
50
续接（三） 3 habse（1.2）集成hive（1.2.1） 》不兼容集成，需要自己编译！！！ hive1.x与hbase0.98版本兼容 hive2.x与hbase1.x版本以上兼容 hive0.x与hbase0.98以下兼容 Hive提供了与HBase的集成，使得能够在HBase表上使用hiv ...
分类：
其他好文 时间：
2020-06-27 17:32:18
阅读次数：
54
hive2启动-hive --service hiveserver2 &-service mysqld start- beeline -u jdbc:hive2://localhost:10000配置依赖-hive-jdbc 对应hive版本： 2.1.1-hive-common 对应hive版本：... ...
分类：
数据库 时间：
2020-06-26 19:57:06
阅读次数：
53
1、hive的企业级调优 1.1 Fetch抓取（鸡肋） Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如：select * from employee; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制 ...
分类：
其他好文 时间：
2020-06-26 18:44:35
阅读次数：
56
1. order by，sort by，distribute by，cluster by的区别？ 2. 聚合函数是否可以写在order by后面，为什么？ 需求催生技术进步 一、课前准备 二、课堂主题 三、课堂目标 1. 掌握hive表的数据压缩和文件存储格式 2. 掌握hive的JDBC代码操作 ...
分类：
其他好文 时间：
2020-06-26 18:42:15
阅读次数：
58
