0.0 前言 本文主要基于最新的Spark 2.1.0版本。阅读本文可以对Spark 2.1.0的学习过程，运行流程，关键组件，原理有所了解。文章有点长，你也可以直接阅读感兴趣的部分，但是还是建议全面了解。 1.0 简介 Spark是Apache软件基金会下的分布式系统开源项目。在官网中这样概况这个 ...
分类：
其他好文 时间：
2019-05-20 13:20:44
阅读次数：
116
RDD的持久化是spark优化中必须掌握的，并且，在内存不足的情况下，我们可以将持久化类型选择为MEMORY_ONLY_SER，减少内存的占用，持久化更多的partition，并且不同的序列化方法也会影响序列化性能。
下面，我们就来测试下，持久化级别和序列化方法的选择对RDD持久化大小的影响。
分类：
其他好文 时间：
2019-05-19 20:38:16
阅读次数：
188
Spark 2.1.1 源码编译 标签（空格分隔）： Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HDFS table 使用Partition by 和 Savemode.append,在一定条件下导致 ...
分类：
其他好文 时间：
2019-05-18 00:45:07
阅读次数：
191
GPT分区是一种全新的分区结构，它是硬盘分区表结构的升级标准。MBR的分区结构已经不能满足当下科技发展的需求。它和电脑硬件升级是一个道理，所以说软件和硬件是相辅相成的关系，都需要更新换代。只不过软件的更新换代是在硬件的基础之上开发并更新的。GPT分区也是硬件发展的需要，就像鱼儿离不开水一样。 MBR ...
分类：
其他好文 时间：
2019-05-17 09:35:01
阅读次数：
228
PVCREATE(8) PVCREATE(8) NAME/名称 pvcreate - initialize a disk or partition for use by LVM/初始化磁盘或分区供LVM使用 SYNOPSIS/简介 pvcreate [-d|--debug] [-f[f]|--for ...
分类：
其他好文 时间：
2019-05-16 12:47:39
阅读次数：
151
一、按年分区，一年一个分区 create table GRMC_AWST_ELE ( iiiii VARCHAR2(100), beijingtime1 DATE ) partition by range (beijingtime1) ( partition P2013 values less th ...
分类：
数据库 时间：
2019-05-16 11:04:13
阅读次数：
138
一： kafka文件组成 基本组成： 1- broker 节点，多个broker构成一个集群 2- topic 对消息进行归类 3- producer 生产者 4- comsumer 消费者 5- consumerGroup 消费组 topic的组成： 1- partition 物理上数据存储的概念 ...
分类：
其他好文 时间：
2019-05-14 19:31:44
阅读次数：
231
分布式系统涵盖的面非常广，具体来说涵盖如下几方面： 服务调度 ，涉及服务发现、配置管理、弹性伸缩、故障恢复等。 资源调度 ，涉及对底层资源的调度使用，如计算资源、网络资源和存储资源等。 流量调度 ，涉及路由、负载均衡、流控、熔断等。 数据调度 ，涉及数据复本、数据一致性、分布式事务、分库、分表等。 ...
分类：
其他好文 时间：
2019-05-13 09:20:18
阅读次数：
606
1.卡夫卡教程 今天，我们正在使用Apache Kafka Tutorial开始我们的新旅程。在这个Kafka教程中，我们将看到什么是Kafka，Apache Kafka历史以及Kafka的原因。此外，我们将学习Kafka Architecture，Kafka和Kafka Partition的组件。 ...
分类：
Web程序 时间：
2019-05-11 21:48:24
阅读次数：
198
Given an array of 2n integers, your task is to group these integers into n pairs of integer, say (a1, b1), (a2, b2), ..., (an, bn) which makes sum of ...
分类：
其他好文 时间：
2019-05-11 09:46:34
阅读次数：
135
