《Hadoop权威指南(第2版)》来讲,伪分布式(pseude-distributed model)是指Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker...
分类:
其他好文 时间:
2015-07-13 18:17:03
阅读次数:
144
首先介绍下Git和GithubCentralized Version Control Systems,简称 CVCS
集中化的版本控制系统
这类系统诸如 CVS Subversion以及Perforce。
这类系统都有一个集中管理的服务器,保存所有文件的修改版本,协同工作的同事通过客户端连接到这台服务器,取出最新的文件或者提交更改。Distributed Version Control Sy...
分类:
系统相关 时间:
2015-07-11 20:14:34
阅读次数:
509
https://www.youtube.com/watch?v=ubjuWqUE9wQ http://www.gizmag.com/wi-fi-track-smartphone-creepydol/28585/ CreepyDOL: a distributed sensor network that...
分类:
其他好文 时间:
2015-07-11 12:03:31
阅读次数:
173
关于ADMM的研究(一)最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers》这篇文章,感觉很适合...
分类:
其他好文 时间:
2015-07-09 21:16:22
阅读次数:
596
Spark专用名词
RDD —- resillient distributed dataset 弹性分布式数据集
Operation —- 作用于RDD的各种操作分为transformation和action
Job —- 作业,一个JOB包含多个RDD及作用于相应RDD上的各种operation
Stage —- 一个作业分为多个阶段
Partition —- 数据分区, 一个RDD中的数据可以分...
分类:
其他好文 时间:
2015-07-08 16:41:59
阅读次数:
138
弹性分布数据集RDDRDD(Resilient Distributed Dataset)是Spark的最基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西,它表示已被分区,不可变的并能够被并行操作的数据集合,不同的数据集格式对应不同的RDD实现。RDD必须是可序列化的。RDD可以cache到内存中,每次对RDD数据集的操作之后的...
分类:
其他好文 时间:
2015-07-08 16:40:37
阅读次数:
936
WCF - ArchitectureWCF has a layered architecture that offers ample support for developing various distributed applications. The architecture is explai...
分类:
其他好文 时间:
2015-07-07 22:27:57
阅读次数:
110
WCF TutorialWCF stands for Windows Communication Foundation. It is a framework for building, configuring, and deploying network-distributed services. ...
分类:
其他好文 时间:
2015-07-07 19:09:29
阅读次数:
103
WebDAV:分布式创作和版本控制协议 (Web-based Distributed Authoring and Versioning) 一种基于 HTTP 1.1协议的通信协议。它扩展了HTTP 1.1,在GET、POST、HEAD等几个HTTP标准方法以外添加了一些新的方法,使应用程序可直接对W...
分类:
Web程序 时间:
2015-07-06 15:36:34
阅读次数:
117
LRK comes from Lucas, Retzbach, Kühlfuss, the authors. DLRK distributed LRK
分类:
其他好文 时间:
2015-07-03 13:49:33
阅读次数:
422