弹性分布式数据集(RDD,Resilient Distributed Datasets),它具备像MapReduce等数据流模型的容错特性,并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效:一是迭代式算法,这在图应用和机器学习领域很常见;二是交互式数据挖掘工具 ...
分类:
其他好文 时间:
2020-02-09 23:55:54
阅读次数:
139
什么是DDoS攻击 DDoS攻击是Distributed Denial of Service的缩写,翻译成中文就是分布式拒绝服务。即不法黑客组织通过控制服务器等资源,发动对包括国家骨干网络、重要网络设施、政企或个人网站在内的互联网上任一目标的攻击,致使目标服务器断网,最终停止提供服务。 举个栗子,我 ...
分类:
其他好文 时间:
2020-02-09 18:15:16
阅读次数:
76
[Toc] 一、spark基本常识 1、spark中的RDD是什么,有哪些特性? RDD(Resilient Distributed Dataset)叫做分布式数据集模式spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可以并行计算的集合。 Resilient:表示弹性的,弹性表示 ...
分类:
其他好文 时间:
2020-02-01 16:09:42
阅读次数:
85
RDD的概述 什么是RDD? RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时 ...
分类:
其他好文 时间:
2020-01-26 19:13:00
阅读次数:
66
什么是Elasticsearch? Elasticsearch is a real time, distributed storage, search, and analytics engine Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎。 介绍那儿有几个关键字: 实时、分 ...
分类:
其他好文 时间:
2020-01-21 16:10:55
阅读次数:
72
什么是Elasticsearch? Elasticsearch is a real time, distributed storage, search, and analytics engine Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎。 介绍那儿有几个关键字: 实时、分 ...
分类:
其他好文 时间:
2020-01-19 22:14:47
阅读次数:
69
HDFS,是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成,甚至可以通过Web协议(webhsfs)来操作。HDFS的文件分布在集群机器上,同时提供副本进行容错及可靠性保证。例 ...
Question: insert into #tmp exec usp_xxxx 报错 The operation could not be performed because OLE DB provider "SQLNCLI11" for linked server "server_name" w ...
分类:
数据库 时间:
2020-01-16 14:46:48
阅读次数:
98
-- 启用: exec sp_configure 'show advanced options',1 reconfigure exec sp_configure 'Ad Hoc Distributed Queries',1 reconfigure SELECT * FROM OpenDataSour ...
分类:
数据库 时间:
2020-01-16 00:51:58
阅读次数:
135
转:https://www.jianshu.com/p/f3e43328c1b5 一、集群方案与分区 1、一致性hash分区 一致性哈希分区(Distributed Hash Table)实现思路是为系统中每个节点分配一个token,范围一般在0~232,这些token构成一个哈希环。数据读写执行节 ...
分类:
其他好文 时间:
2020-01-13 23:37:55
阅读次数:
104