分布式计算系统要求运行在不同地址空间不同主机上的对象互相调用,在Java里提供了完整的sockets通讯接口，但sockets要求客户端和服务端必须进行应用级协议的编码交换数据，采用sockets是非常麻烦的。 一个代替Sockets的协议是RPC(Remote Procedure Call), 它 ...
分类：
编程语言 时间：
2016-06-25 17:47:37
阅读次数：
166
分布式计算系统中，为了高效利用资源，经常需要一个合理的调度器帮我们自动完成任务的合理调度和运行。不管是系统级别，还是应用级别。只要在资源有限的系统上运行任务，一个设计合理的调度器是很有用的。 在操作系统上，我们为了充分利用CPU，内存，磁盘，网络。 在分布式计算系统上，我们充分利用计算平台的抽象的计 ...
分类：
其他好文 时间：
2016-06-06 18:33:25
阅读次数：
123
Hazelcast 是一个开源的可嵌入式数据网格（社区版免费，企业版收费）。你可以把它看做是内存数据库，不过它与 Redis 等内存数据库又有些不同。项目地址：http://hazelcast.org/ Hazelcast 使得 Java 程序员更容易开发分布式计算系统，提供了很多 Java 接口的 ...
分类：
其他好文 时间：
2016-06-02 11:17:32
阅读次数：
480
问题
spark的计算模型是如何做到并行的呢？如果你有一箱香蕉，让三个人拿回家吃完，如果不拆箱子就会很麻烦对吧，哈哈，一个箱子嘛，当然只有一个人才能抱走了。这时候智商正常的人都知道要把箱子打开，倒出来香蕉，分别拿三个小箱子重新装起来，然后，各自抱回家去啃吧。 Spark和很多其他分布式计算系统都借用了这种思想来实现并行：把一个超大的数据集，切分成N个小堆，找M个执行器（M < N），各自拿一块或...
分类：
其他好文 时间：
2016-04-29 20:10:04
阅读次数：
190
问题
spark的计算模型是如何做到并行的呢？如果你有一箱香蕉，让三个人拿回家吃完，如果不拆箱子就会很麻烦对吧，哈哈，一个箱子嘛，当然只有一个人才能抱走了。这时候智商正常的人都知道要把箱子打开，倒出来香蕉，分别拿三个小箱子重新装起来，然后，各自抱回家去啃吧。 Spark和很多其他分布式计算系统都借用了这种思想来实现并行：把一个超大的数据集，切分成N个小堆，找M个执行器（M < N），各自拿一块或...
分类：
其他好文 时间：
2016-04-26 22:02:05
阅读次数：
1476
流式大数据处理的三种框架：Storm，Spark和Samza 许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对Storm、Spark和Samza等三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Ap ...
分类：
其他好文 时间：
2016-04-06 18:34:33
阅读次数：
176
分布式计算系统最常见的问题就是OOM问题，本文主要讲述Spark中OOM问题的原因和解决办法，并结合笔者实践讲述了一些优化技巧。涉及shuffle内存溢出，map内存溢出。spark代码优化技巧和spark参数优化技巧。...
分类：
其他好文 时间：
2016-04-01 18:18:48
阅读次数：
249
一. 什么是Spark？
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需...
分类：
其他好文 时间：
2016-03-18 14:46:44
阅读次数：
318
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。
Apache Storm
在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker
node）执行。一个拓...
分类：
其他好文 时间：
2016-02-17 15:59:54
阅读次数：
202
网络文件服务器（NetworkFileSystem，简称NFS），是分布式计算系统的一个组成部分，可实现在异种网络上共享和装配远程文件系统。NFS由Sun公司开发，目前已经成为文件服务的一种标准（RFC1904，RFC1813）。其最大的功能就是可以通过网络，让不同操作系统的计算机可以共享数据，..
分类：
其他好文 时间：
2016-01-19 17:38:22
阅读次数：
285
