Spark分布式执行涉及的组件 每个Spark应用都由一个 驱动程序 来发起集群上的各种并行操作，驱动程序通过一个 SparkContext对象 访问Spark；驱动程序管理多个 执行器节点 ，可以用SparkContext来创建RDD。 RDD(Resilient Distributed Data ...
分类：
其他好文 时间：
2019-09-02 00:10:07
阅读次数：
110
(1).DDos概念 分布式拒绝服务攻击(英文意思是Distributed Denial of Service，简称DDoS)是指处于不同位置的多个攻击者同时向一个或数个目标发动攻击，或者一个攻击者控制了位于不同位置的多台机器并利用这些机器对受害者同时实施攻击。由于攻击的发出点是分布在不同地方的，这 ...
分类：
其他好文 时间：
2019-09-01 16:50:30
阅读次数：
179
HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题。分NameNode、SecondaryNameNode、DataNode这几个角色。 ...
分类：
其他好文 时间：
2019-08-28 09:14:04
阅读次数：
87
DRNI:Distributed Resilient Network Interconnect，分布式弹性网络互连。DR：分布式聚合接口IPP:内部控制链路端口IPL：内部控制链路DRCP报文：分布式聚合控制协议数据单元Keepalive机制:DR设备间通过交互Keepalive报文来进行IPL故障 ...
分类：
其他好文 时间：
2019-08-27 12:53:53
阅读次数：
311
一：zookeeper是什么 What is ZooKeeper? ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchron ...
分类：
其他好文 时间：
2019-08-24 18:54:07
阅读次数：
76
一、 容错机制1、背景要理解Spark Streaming提供的容错机制，先回忆一下Spark RDD的基础容错语义：1、RDD，Ressilient Distributed Dataset，是不可变的、确定的、可重新计算的、分布式的数据集。每个RDD都会记住确定好的计算操作的血缘关系，(val l... ...
分类：
其他好文 时间：
2019-08-20 14:08:26
阅读次数：
103
HDFS 概念 1、概念 1.1、 HDFS - Hadoop File distributed filesystem， HDFS以流式数据访问模式来存储超大文件。 1.2、 HDFS 以块的方式存储数据。 HDFS 集群有两类节点的模式运行，一类是namenode 用来管理节点，一类是工作节点da ...
分类：
其他好文 时间：
2019-08-17 18:13:44
阅读次数：
83
RDD 介绍 RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。 RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指 ...
分类：
编程语言 时间：
2019-08-16 23:08:05
阅读次数：
148
1 HDFS写数据流程 1.1 剖析文件写入 HDFS写数据流程，如图所示 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block ...
分类：
其他好文 时间：
2019-08-15 06:04:26
阅读次数：
126
DRBD简介 官方文档 DRBD的全称为：Distributed Replicated Block Device(DRBD)分布式块设备复制，DRBD是由内核模块和相关脚本构成，用以构建高可用的集群。其实现方式是通过网络来镜像整个设备。可以把它看作是一种网络RAID。它允许用户在远程机器上建立一个本 ...
分类：
系统相关 时间：
2019-08-14 18:42:03
阅读次数：
134
