在一个分布式计算系统中，为了保证数据的一致性需要对数据进行一致性快照。Flink和spark在做流失计算的时候都借鉴了chandy-lamport算法的原理，这篇文章就是对chandy-lamport算法原理的详细介绍。 考虑一个分布式计算系统。 其中有两个节点，也就是两个进程，p和q，s0，s1对 ...
分类：
编程语言 时间：
2019-02-10 23:31:24
阅读次数：
381
1 引言 分布式计算是指各种不同的工作站通过网络互相连接，由分布式系统提供跨越网络透明地访问各种异构设备所需要的支持，使得用户可以充分利用网络上的各种计算资源来完成自己的任务[1]。与网络技术的发展和日益增长的应用需求相适应，分布式计算已经成为新一代计算和应用的主流。分布式计算中所涉及的分布式系统是 ...
分类：
其他好文 时间：
2019-02-04 19:45:19
阅读次数：
203
如何让一个脚本开机自启动 1、放在/etc/rc.local中 2、通过chkconfig管理 以上使用文档，可以查看chkconfig帮助： man chkconfig 可以尝试翻译出来 chkconfig背后的故事 之前我们修改配置，总是会有临时生效和永久生效，这两类修改 那么这两类修改有什么规 ...
分类：
系统相关 时间：
2019-02-03 14:22:03
阅读次数：
272
云的概念就是服务器在一个云里，有很多服务器可以提供了某种服务。基于此意义，p2p技术就是一种云服务。P2P如果用来做传输分发，比如用BT部署自己的分发系统，这种就可以视为云分发。因为p2p背后也是支持很多服务器提供数据，属于在一堆服务器云对外提供数据。而且，很多云服务，其实背后都有p2p技术的身影。如果p2p用来做分布式计算，那更是云技术的一个大的分支。P2p里面的机器，都是云里的节点，所以p2p
分类：
其他好文 时间：
2019-01-31 14:45:58
阅读次数：
191
1.集群结构??在我们探究ES的分布式架构之前，我们使用一个简单的导图描述一下我们在设计分布式系统时会考虑的问题，如图1所示。??带着图1中的问题我们来探究一下ES集群，ES集群是一个典型的主从结构，从某种意义上来说，符合现今大多数主流分布式存储、分布式计算系统的审美要求。下面我们逐步来了解集群中的这些东东。??先用来自文献2的一张集群结
分类：
其他好文 时间：
2019-01-30 17:19:50
阅读次数：
229
其旨在打造一个集应用开发、大数据存储、处理、分布式计算、自动化部署的无节点微服务集中开发与运行平台，以响应业务的快速变更，满足系统对大数据，大并发与开发效率的需求； 平台设计以数据为核，以groovy脚本为基础，通过提供api、异步消息处理、调度等基础构件来支持应用的快速开发; 核心是通过整合现有开 ...
分类：
其他好文 时间：
2019-01-23 13:50:37
阅读次数：
190
由阿里巴巴统一大数据计算平台MaxCompute研发团队，历经1年多研发，打破大数据、科学计算领域边界，完成第一个版本并开源。 Mars，一个基于张量的统一分布式计算框架。使用 Mars 进行科学计算，不仅使得完成大规模科学计算任务从MapReduce实现上千行代码降低到Mars数行代码，更在性能上有大幅提升。
分类：
其他好文 时间：
2019-01-21 17:11:04
阅读次数：
228
转自：http://hi.baidu.com/lubezhang/blog/item/bd308b3b7ecce3ec14cecb4f.html IBM MQ（IBM Message Queue）是IBM的一款商业消息中间产品，适用于分布式计算环境或异构系统之中。消息队列技术是分布式应用间交换信息的 ...
分类：
其他好文 时间：
2019-01-20 20:04:51
阅读次数：
395
面试现在这家公司的时候，领导说有意让我接触大数据这块的项目，当时可把我高兴的。虽然来这快两年了也没接触大数据，词倒是听了几个。hadoop念着挺顺口，到底是个什么东西呢。搜索了一波，总结如下。 hadoop是什么？ Hadoop就是一个分布式计算的解决方案. 能看懂吗。看不懂的继续往下看看 hado ...
分类：
其他好文 时间：
2019-01-18 16:23:25
阅读次数：
216
分布式Tensorflow 分布式Tensorflow Tensorflow的一个特色就是分布式计算。分布式Tensorflow是由高性能的gRPC框架作为底层技术来支持的。这是一个通信框架gRPC(google remote procedure call)，是一个高性能、跨平台的RPC框架。RPC ...
分类：
其他好文 时间：
2019-01-17 22:38:18
阅读次数：
222
