Hadoop:离线计算Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS ...
分类:
其他好文 时间:
2018-07-26 19:51:08
阅读次数:
171
Spark的核心是建立在统一的抽象RDD之上,使得Spark的各个组件可以无缝进行集成,在同一个应用程序中完成大数据计算任务。RDD的设计理念源自AMP实验室发表的论文《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for ...
分类:
其他好文 时间:
2018-07-25 22:44:51
阅读次数:
237
Ceph分布式存储(一)一、概述Ceph是可靠的、可扩展的、统一的、分布式的存储系统。可以同时提供对象存储RADOSGW(Reliable、Autonomic、Distributed、ObjectStorageGateway)、块存储RBD(RadosBlockDevice)、文件系统存储CephFS(CephFilesystem)3种功能。2、Ceph应用场景Ceph可以提供对象存储、块设备存储
分类:
其他好文 时间:
2018-07-23 20:24:43
阅读次数:
433
Hadoop生态圈 存储数据HDFS(Hadoop Distributed File System),运行在通用硬件上的分布式文件系统。具有高度容错性、高吞吐量的的特点。 处理数据MapReduce,它是一种编程模型,Map(映射)和Reduce(归约),它极大地方便了分布式并行编程,与hdfs的高 ...
分类:
其他好文 时间:
2018-07-22 17:09:14
阅读次数:
179
0X00 测试环境 CentOS 6.6 + Redis 3.2.10 + PHP 7.0.7(+ phpredis 4.1.0) 0X01 什么是分布式锁 redis 官网上对分布式锁的描述(https://redis.io/topics/distlock)是: Distributed locks ...
分类:
其他好文 时间:
2018-07-21 19:17:33
阅读次数:
290
什么是DDoS
分布式拒绝服务(DDoS:Distributed Denial of Service)×××指借助于客户/服务器技术,将多个计算机联合起来作为×××平台,对一个或多个目标发动DDoS×××,从而成倍地提高拒绝服务×××的威力。通常,×××者使用一个偷窃帐号将DDoS主控程序安装在一个计算机上,在一个设定的时间主控程序将与大量代理程序通讯,代理程序已经被安装在网络上的许多计算机上。代理程序收到指令时就发动×××。利用客户/服务器技术,主控程序能在几秒钟内激活成百上千次代理程序的运行。
分类:
其他好文 时间:
2018-07-17 23:18:08
阅读次数:
246
接下来讲什么 今天开始讲groupcache! Memcached大家应该都不陌生,官网的介绍是: Free & open source, high-performance, distributed memory object caching system(免费,开源,高性能的分布式内存对象缓存系统 ...
分类:
系统相关 时间:
2018-07-15 12:02:19
阅读次数:
190
Hadoop是一个利用大规模计算机集群,可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点:1.高容错性;2.高吞吐量访 ...
分类:
其他好文 时间:
2018-07-13 23:20:10
阅读次数:
194
Hadoop是一个利用大规模计算机集群,可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点:1.高容错性;2.高吞吐量访 ...
分类:
其他好文 时间:
2018-07-13 23:18:54
阅读次数:
193
Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构。 Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中。 Hadoop的核心是分布式文件系统(Hadoop Distributed ...
分类:
其他好文 时间:
2018-07-11 15:10:35
阅读次数:
311