Trident中有对状态数据进行读取和写入操作的一流抽象工具。状态既可以保存在拓扑内部，比如保存在内容中并由HDFS存储，也可以通过外部存储（比如Memcached或Cassandra）存储在数据库中。而对于Trident的API而言，这两种机制没有任何区别。 Trident以容错的方式来管理状态， ...
分类：
其他好文 时间：
2017-12-21 17:17:36
阅读次数：
105
简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性 ...
分类：
其他好文 时间：
2017-12-18 18:42:37
阅读次数：
188
==Spark的发展介绍== ==一个大一统的软件栈== Spark核心 行动操作 RDD Spark传递函数 常见的转化操作 ...
分类：
其他好文 时间：
2017-12-11 22:18:51
阅读次数：
200
应该说搞分布式系统必读的文章了，转过来，这是2008年12月Werner revise过的版本，先贴上内容简介：分布式系统的CAP理论 CAP理论（data consistency, system availability, and tolerance），也就是数据一致性，系统可用性和网络分区容错性 ...
分类：
其他好文 时间：
2017-12-11 16:44:41
阅读次数：
273
内容简介 《Spark大数据处理：技术、应用与性能优化》根据最新技术版本，系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化，以及BDAS生态系统的相关技术。 作为一个基于内存计算的大数据并行计算框架，Spark不仅很好地解决了数据的实时处理问题，而且保证了高容错性... ...
分类：
其他好文 时间：
2017-12-03 12:59:28
阅读次数：
267
CAP介绍 Consistency(一致性), 数据一致更新，所有数据变动都是同步的。比如网购，库存减少的同时资金增多。Availability(可用性), 好的响应性能。比如支付操作10ms内响应用户。Partition tolerance(分区容错性) 可靠性。比如电商网站商品库存库挂了并不影响 ...
分类：
其他好文 时间：
2017-12-02 19:13:18
阅读次数：
128
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 前提和设计目标 硬件错误 硬件错误是常态而不是异常。H ...
分类：
其他好文 时间：
2017-11-26 13:52:14
阅读次数：
200
摘自：https://flume.apache.org/FlumeUserGuide.html 是什么： Flume是一个用来收集聚合海量多来源日志数据并转移到一个数据存储中心的分布式，可依赖，高可用，高性能服务框架。他基于流数据提供简单灵活的架构。具有健壮性，容错性。他提供了一个简单可扩展的数据模 ...
分类：
Web程序 时间：
2017-11-22 17:47:36
阅读次数：
224
作为服务注册中心，Eureka比Zookeeper好在哪里 著名的CAP理论指出，一个分布式系统不可能同时满足C(一致性)、A(可用性)和P(分区容错性)。由于分区容错性在是分布式系统中必须要保证的，因此我们只能在A和C之间进行权衡。在此Zookeeper保证的是CP, 而Eureka则是AP。 4 ...
分类：
其他好文 时间：
2017-11-09 11:49:34
阅读次数：
460
分布式领域CAP理论，Consistency(一致性), 数据一致更新，所有数据变动都是同步的Availability(可用性), 好的响应性能Partition tolerance(分区容错性) 可靠性 定理：任何分布式系统只可同时满足二点，没法三者兼顾。忠告：架构师不要将精力浪费在如何设计能满足 ...
分类：
其他好文 时间：
2017-11-01 21:42:40
阅读次数：
135
