DAG:Directed Acyclic Graph,有向无环图 RDD:Resilient Distributed Dataset 弹性分布式数据集,一种分布式的内存抽象,将工作集缓存到内存中,实现了复用。 用户使用交互接口(Driver)与Spark集群的Cluster Manager进行交互, ...
分类:
其他好文 时间:
2018-03-06 23:09:20
阅读次数:
154
先附上论文链接 https://pdos.csail.mit.edu/6.824/papers/raft-extended.pdf 最近在自学MIT的6.824分布式课程,找到两个比较好的github:MIT课程《Distributed Systems 》学习和翻译 和 https://github ...
分类:
其他好文 时间:
2018-03-04 19:01:44
阅读次数:
233
一、概述 1.什么是Hbase 根据官网:https://hbase.apache.org/ Apache HBase? is the Hadoop database, a distributed, scalable, big data store. HBASE是一个高可靠性、高性能、面向列、可伸缩 ...
分类:
其他好文 时间:
2018-03-01 17:25:47
阅读次数:
169
弹性分布式数据集(Resilient Distributed Dataset,RDD) RDD是Spark一开始就提供的主要API,从根本上来说,一个RDD就是你的数据的一个不可变的分布式元素集合,在集群中跨节点分布,可以通过若干提供了转换和处理的底层API进行并行处理。每个RDD都被分为多个分区, ...
分类:
其他好文 时间:
2018-03-01 14:57:10
阅读次数:
208
Docker是一种虚拟化技术 刚開始看Docker,感觉非常抽象“An open platform for distributed applications for developers and sysadmins”这是Docker的标语。“一个服务于分布式系统的开发人员和运维人员的开放平台”。不是 ...
分类:
其他好文 时间:
2018-02-26 23:26:43
阅读次数:
207
主要知识点: 初识distributed document store 一、distributed document store(分布式文档存储系统) Elasticsearch在运行起来以后,他的第一个最核心的功能就是一个分布式的文档数据存储系统。主要有以下三个慨念: 分布式的:es可以实现分布式... ...
分类:
其他好文 时间:
2018-02-24 10:37:42
阅读次数:
99
/* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this ... ...
分类:
编程语言 时间:
2018-02-08 17:50:54
阅读次数:
483
待补充.... 一、综述 参考ug473.pdf。 常用Memory 资源: 在IP核中,Block memory(distributed memory为CLB中的资源): 通常选用Native,而不用AXI接口: Block RAM可配置单端口RAM、伪双端口RAM、双端口RAM、单端口ROM、双 ...
分类:
其他好文 时间:
2018-02-08 17:41:35
阅读次数:
173
一、什么是Hadoop? Hadoop是Apache下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布 ...
分类:
其他好文 时间:
2018-02-07 14:44:49
阅读次数:
208
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this ...
分类:
其他好文 时间:
2018-02-05 23:15:31
阅读次数:
142