传统Hive计算引擎为MapReduce，在Spark1.3版本之后，SparkSql正式发布，并且SparkSql与apachehive基本完全兼容，基于Spark强大的计算能力，使用Spark处理hive中的数据处理速度远远比传统的Hive快。在idea中使用SparkSql读取HIve表中的数据步骤如下1、首先，准备测试环境，将hadoop集群conf目录下的core-site.xml、hd
分类：
数据库 时间：
2020-03-30 14:42:50
阅读次数：
141
为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：cache、persist、checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下几种： ...
分类：
系统相关 时间：
2020-03-30 12:43:50
阅读次数：
102
我们已经在CentOS7中安装了spark，本节将展示如何在spark中通过scala方式交互的进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，主机名为danji，请读者根据自己实际情况设置 hadoop已经安装完毕并启动 ...
分类：
其他好文 时间：
2020-03-30 00:07:08
阅读次数：
103
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
一、什么是RDD A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection of elements that can b ...
分类：
其他好文 时间：
2020-03-29 17:56:53
阅读次数：
80
K8S使用deployment 管理Pod以及滚动更新
分类：
其他好文 时间：
2020-03-29 09:18:01
阅读次数：
119
与Scala语言相比，Python有其独特的优势和广泛的应用，python调用接口,因此Spark也推出了PySpark，它在框架上提供了一个使用Python语言的接口，python接收post请求接口为数据科学家使用框架提供了方便。 ...
分类：
编程语言 时间：
2020-03-29 01:41:51
阅读次数：
92
BOM: 浏览器对象模型: 把浏览器的一个窗口作为对象 BOM模型包含的对象: window(整个BOM的核心) history(历史记录) location(地址栏) document(html文档) window 1) 弹框的 alert() 输出, 只有一个确定按钮 prompt() 输入 返 ...
分类：
编程语言 时间：
2020-03-28 23:18:34
阅读次数：
70
工作中我们总会遇到代码版本回退的问题，下面是我所总结的方法： 1）在show history 中找到当前版本（取名：newVersion）和想要回退到的版本（oldVersion） 2. 选择newVersion和oldVersion点击“Copy Revision Number”复制两个版本的版本 ...
分类：
其他好文 时间：
2020-03-28 20:10:34
阅读次数：
94
本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
