Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
Hive基础（一）原创人间怪物 最后发布于2018-12-19 15:35:03 阅读数 2918 收藏展开1.Hive是什么 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。H ...
分类：
其他好文 时间：
2020-01-20 18:44:17
阅读次数：
86
Shuffle基本流程 spark shuffle从总体来讲分成两部分，shuffle write和shuffle reader，如下图所示，看到这里，就明白了为什么spark性能优化的时候建议宁可broadcast也不要shuffle，broadcast好歹还是内存操作，网络上大一点压力（每个节点... ...
分类：
其他好文 时间：
2020-01-19 09:27:09
阅读次数：
63
一、运行速度方面： Spark把中间数据放到内存中，迭代运算效率高。 Hadoop MapReduce将计算结果保存到磁盘上，这样会影响整体速度，而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。 二、容错方面： Spark引进了弹性分布式数据集RDD ...
分类：
其他好文 时间：
2020-01-18 21:41:13
阅读次数：
106
1.MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词， 一是软件框架，二是并行处理，三是可靠 ...
分类：
其他好文 时间：
2020-01-17 13:43:04
阅读次数：
78
1.1 键值对RDD操作 Mapreduce框架是把数据转为key-value，再聚合为key-values的过程。 在Spark里key-value RDD（pair RDD）同样是最常用的，在每个应用中基本都会用到。 pair RDD如何创建？不是通过sc.parallelize 创建 通常应用 ...
分类：
其他好文 时间：
2020-01-17 13:36:54
阅读次数：
96
MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是“任务的分解与结果的汇总”。一、 MapReduce的工作原理在分布式计算中，MapReduce框架负责处理 ...
分类：
其他好文 时间：
2020-01-15 14:03:53
阅读次数：
79
一：类类型使用不一致（mapper和reduce） 20/01/13 16:03:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1578714121919_0001 20/01/13 16:03:42 INFO conf ...
分类：
其他好文 时间：
2020-01-13 20:22:16
阅读次数：
117
1. count：返回集合中文档的数量。 db.friend.count() db.friend.count({'age':24}) 增加查询条件会使count查询变慢。 2. distinct：找出给定键的所有不同的值。 使用时必须指定集合和键： db.runCommand({'distinct' ...
分类：
数据库 时间：
2020-01-10 10:33:11
阅读次数：
88
