自然,你是不会犯错的。不过现在是凌晨两点,你正在赶一份工作报告,你在readme.txt中添加了一行:$ cat readme.txtGit is a distributed version control system.Git is free software distributed under ...
分类:
其他好文 时间:
2015-01-27 12:53:27
阅读次数:
145
我们已经成功地添加并提交了一个readme.txt文件,现在,是时候继续工作了,于是,我们继续修改readme.txt文件,改成如下内容:Git is a distributed version control system.Git is free software.现在,运行git status命...
分类:
其他好文 时间:
2015-01-27 12:41:21
阅读次数:
158
了解RDD之前,必读UCB的论文,个人认为这是最好的资料,没有之一。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf A Resilient Distributed Dataset (RDD), the basic abstra...
分类:
其他好文 时间:
2015-01-23 06:12:04
阅读次数:
448
spark内核揭秘-10-RDD源码分析
**
* A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,
* partitioned collection of elements that can be operated on in parallel. This class contains the
* basic operations available on a...
分类:
其他好文 时间:
2015-01-21 16:37:59
阅读次数:
196
【转载】Distributed Deep Learning on MPP and Hadoop
分类:
其他好文 时间:
2015-01-19 22:16:34
阅读次数:
346
http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf ucb关于spark的论文,对spark中核心组件RDD最原始、本质的理解,没有比这个更好的资料了。必读。AbstractRDDs provide arestricted for...
分类:
其他好文 时间:
2015-01-18 07:03:31
阅读次数:
394
转至InfoQ上的《理解本真的REST架构风格》一文从架构风格的抽象高度来看,常见的分布式应用架构风格有三种:分布式对象(Distributed Objects,简称DO)架构实例有CORBA/RMI/EJB/DCOM/.NET Remoting等等远程过程调用(Remote Procedure C...
分类:
其他好文 时间:
2015-01-18 02:01:48
阅读次数:
222
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的...
分类:
其他好文 时间:
2015-01-15 17:36:36
阅读次数:
224
HDFS作为Hadoop的核心技术之一,HDFS(Hadoop Distributed File System, Hadoop分布式文件系统)是分布式计算中数据存储管理的基础。具有高容错高可靠性、高可扩展性、高可获得性、高吞吐率等特性。为超大数据集的应用提供了便利。一、设计的前提和目的HDFS是Go...
分类:
其他好文 时间:
2015-01-12 22:29:31
阅读次数:
264
Kafkais a distributed publish-subscribe messaging system. It was originally developed at LinkedIn and became an Apache project in July, 2011. Today,Ka...
分类:
Web程序 时间:
2015-01-10 23:42:50
阅读次数:
367