1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:10:47
阅读次数：
0
This article explores the configuration of Windows failover clusters, storage controllers, and quorum configurations for SQL Server Always On Availabi ...
分类：
数据库 时间：
2021-02-27 13:30:23
阅读次数：
0
pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
DevTools 公共区域与通用操作 [1]：可用来在页面中使用鼠标选择元素 [2]：在移动端和 pc 端效果间切换，切换至移动端后还可在页面上方调整窗口尺寸 [3]：进入 DevTool 的设置界面 [4]：姑且叫做“更多”，其中内容下文会陆续提到 使用Commend + [、Commend + ...
分类：
其他好文 时间：
2021-02-19 13:13:02
阅读次数：
0
在介绍 Spark SQL之前，我们先了解两种基本的数据分析方式。 一、数据分析的两种方式 数据分析的方式大致上可以划分为 SQL 和 命令式两种。 命令式 在前面的 RDD部分,非常明显可以感觉的到是命令式的,主要特征是通过一个算子,可以得到一个结果,通过结果再进行后续计算。例如： sc.para ...
分类：
数据库 时间：
2021-02-16 12:29:50
阅读次数：
0
前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类：
其他好文 时间：
2021-02-16 12:23:59
阅读次数：
0
EDM entity data model 实体数据模型 Conceptual models 概念模型 Mappings 连接 Storage models 存储模型 Orm object relational mapping 对象关系映射 EF entity framework 是基于ADO.Ne ...
分类：
数据库 时间：
2021-02-06 12:17:48
阅读次数：
0
本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明，记录于此，供各位同学及自己参考研究。 ...
分类：
其他好文 时间：
2021-02-05 10:38:53
阅读次数：
0
Spark环境配置 spark-env.sh #JAVA_HOME export JAVA_HOME=/export/servers/jdk1.8.0_271 #Spark Master Address #export SPARK_MASTER_HOME=node01 export SPARK_MA ...
分类：
其他好文 时间：
2021-02-04 11:53:09
阅读次数：
0
// 读取文件base64 编码方式 var readerRes = fs.readFileSync(rp + 'ext_blocks\\userLib\\' + sessionStorage.checkLib + ".zip", "Base64") function base64toBlob(ba ...
分类：
Web程序 时间：
2021-02-03 10:40:28
阅读次数：
0
