GraphLab是一个面向大规模机器学习/图计算的分布式内存计算框架,由CMU在2009年开始做,这里的内容是基于论文Low, Yucheng, et al. "Distributed GraphLab: A Framework for Machine Learning in the Cloud" ...
分类:
其他好文 时间:
2014-06-15 00:09:58
阅读次数:
326
ZooKeeper是一个用于分布式应用的开源分布式协调服务。它提供了简单的原语集合,分布式应用可在这些原语之上构建用于同步、配置维护、分组和命名的高层服务。ZooKeeper的设计使得编程容易,并且使用类似于广泛熟知的文件系统目录树结构的数据模型。它运行在Java环境中,但是有Java和C语言绑定。...
分类:
其他好文 时间:
2014-06-14 23:03:19
阅读次数:
336
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的...
分类:
其他好文 时间:
2014-06-14 22:52:01
阅读次数:
366
译自http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html1简介本文是为想要创建使用ZooKeeper协调服务优势的分布式应用的开发者准备的。本文包含理论信息和实践信息。本指南的前四节对各种ZooKeeper概念进行较高层次的讨...
分类:
其他好文 时间:
2014-06-14 22:50:57
阅读次数:
352
如何使用Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基...
分类:
编程语言 时间:
2014-06-14 22:05:43
阅读次数:
487
zookeeper是一个分布式的开源的分布式协调服务,用它可以来现同步服务,配置维护。zookeeper的稳定性也是可以保证的,笔者曾参与过的使用zookeeper的两个应用,一个是用zookeeper来做分布式锁,属于同步协调服务,另一个是配置维护,三台机器运行了一年多了,没有出现什么问题。运用场...
分类:
其他好文 时间:
2014-06-14 21:05:20
阅读次数:
178
Spark是一个通用的分布式内存计算框架,本文主要研讨Spark的核心数据结构RDD,及其在内存上的容错,内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类:
其他好文 时间:
2014-06-14 20:42:37
阅读次数:
326
Petuum是一个分布式机器学习专用计算框架,本文介绍其架构,并基于文章 More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server,NIPS 2013 重点探讨其核心内容SSP协议。主要思想Para...
分类:
其他好文 时间:
2014-06-14 20:39:34
阅读次数:
261
友情提示:非原文链接可能会影响您的阅读体验,欢迎查看原文。(http://blog.geekcome.com)原文地址:http://blog.geekcome.com/archives/284在上一篇中介绍了Cobar和client初次建立连接的过程,Cobar监听端口,client发起连接请求,...
分类:
数据库 时间:
2014-06-14 15:39:44
阅读次数:
315
这次开发要使用Git代替SVN,借机学习了一二,跟大家分享一下。
Git简介
一句话总结的说,Git是一个开源的分布式版本控制系统,由Linux内核开发人员开发,现已用来管理android等多个大型项目。
设计目标:
快速操作简单设计并行开发(上千个)完全分布式能力超强(类似Linux内核管理)
和SVN
提到版本管理系统,自然会想到SVN,如果...
分类:
其他好文 时间:
2014-06-14 14:41:18
阅读次数:
296