Anderson, Thomas E."The Performance of Spin Lock Alternatives for Shared-Memory Multiprocessors".IEEE Transactions on Parallel and Distributed Systems ...
分类:
其他好文 时间:
2019-05-26 09:35:18
阅读次数:
116
一、概述Ceph是可靠的、可扩展的、统一的、开源分布式的存储系统。可以同时提供对象存RADOSGW(Reliable、Autonomic、Distributed、ObjectStorageGateway)、块存储RBD(RadosBlockDevice)、文件系统存储CephFS(CephFilesystem)3种功能。 Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储,所以很自
分类:
其他好文 时间:
2019-05-14 00:43:07
阅读次数:
124
1.RDD的官网定义 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,partitioned collection of elements that can ...
分类:
其他好文 时间:
2019-05-13 17:54:40
阅读次数:
219
Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many d ...
分类:
Web程序 时间:
2019-05-13 12:39:39
阅读次数:
131
比如说,有个抢票接口,实现同时发起10000并发的用户来抢购, 就可以用Jmeter来模拟并发 1.几个注意事项: a. 需要搭建jmeter分布式测试环境,搭建步骤非常简单,可参考官网: http://jmeter.apache.org/usermanual/jmeter_distributed_ ...
分类:
其他好文 时间:
2019-05-12 01:01:23
阅读次数:
144
1、HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件 ...
分类:
其他好文 时间:
2019-05-11 09:25:26
阅读次数:
101
RDD及其特点 1、RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient Distributed Dataset,即弹性分布式数据集。 2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行 ...
分类:
其他好文 时间:
2019-05-08 21:56:13
阅读次数:
137
Spark—RDD 1、概念介绍 RDD(Resilient Distributed Dataset):弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 官方定义还是比较抽象,个人理解为:它本质就是一个类,屏蔽了底层对数据的复杂抽象和处理,为用 ...
分类:
其他好文 时间:
2019-05-08 10:59:31
阅读次数:
135
HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是:HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统(Hadoop Distributed File ...
分类:
其他好文 时间:
2019-05-08 00:31:43
阅读次数:
132
Apache SkyWalking? | SkyWalking Teamhttp://skywalking.apache.org/zh/ Application performance monitor tool for distributed systems, especially designed ...
分类:
其他好文 时间:
2019-05-06 01:39:12
阅读次数:
143