本文发表于2012年。提出了一种称为离散化数据流(Discretized Streams,D-Streams)的编程模型。该模型提供了一种高级函数式API,具有高度的一致性和强大的容错能力。基于Spark分布式计算框架,进行扩展实现了一个D-Stream的原型,称为Spark Streaming。
分类:
其他好文 时间:
2015-05-28 19:51:10
阅读次数:
522
raid
RAID Level:仅代表磁盘组织方式不同,没有上下文之分:
0:条带
优势:性能提升:读、写
不足:没有冗余(容错)能力
空间利用率:nS
至少需要2块盘
1:镜像
性能表现:写...
分类:
系统相关 时间:
2015-05-09 16:33:58
阅读次数:
164
一、Raid:RedundentArrayofInexpensiveDisks廉价冗余磁盘阵列(早期,使用IDE廉价磁盘)。Raid:RedundentArrayofIndependentDisks独立冗余磁盘阵列(后来,使用SCSI等高性能磁盘)。1、RaidLevel:仅用于标识磁盘的组合方式,目的是提高读写性能和容错能力。raid0:至少需要..
分类:
其他好文 时间:
2015-04-30 20:16:20
阅读次数:
151
分析nginx是如何解析并且存储http请求的。对非法甚至恶意请求的识别能力和处理方式。可以发现nginx采用状态机来解析http协议,有一定容错能力,但并不全面...
分类:
Web程序 时间:
2015-04-02 18:54:00
阅读次数:
302
最近开研究kafka,下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力.1、持久性kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任..
分类:
其他好文 时间:
2015-03-31 13:03:36
阅读次数:
224
深入理解kafka设计原理 最近开研究kafka,下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. ??? 1、...
分类:
其他好文 时间:
2015-03-31 11:01:33
阅读次数:
467
最近开研究kafka,下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力.
1、持久性
kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映射等是常用的手段.因为k...
分类:
其他好文 时间:
2015-03-31 10:53:37
阅读次数:
133
这里对目前业界开源的一些实时流处理系统做一次小结,作为日后进行技术调研的参考资料。S4S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台,它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台,在该平台上程序...
分类:
其他好文 时间:
2015-03-27 23:45:09
阅读次数:
164
对于软件编程人员来说,好的阮籍测试方法可以避免很多的重复以及软件的毛病,并且能及时发现和纠正。正好我有在上软件测试这门课程,那就先来说一说软件测试的系统测试基本方法。 大致分为以下四个方法。1、恢复测试 恢复测试主要检查系统的容错能力。当系统出错时,能否在指定时间间隔内修正错误并重新启动系统。...
分类:
其他好文 时间:
2015-03-15 12:11:07
阅读次数:
141
对于分布式文件系统来说,为了保证数据的高可用性和系统容错能力,往往会把同一数据块在多个节点上进行备份,那么如何分配这些复制数据的位置,不同的文件系统会有不同的策略。一、业界分析在介绍HDFS之前,先简单了解一些其它文件系统的放置策略:1. Lustre——一致性哈希环对于不同的数据备份,需要放到不同...
分类:
其他好文 时间:
2015-03-11 01:56:10
阅读次数:
114