Hadoop自带HDFS，即 Hadoop Distributed FileSystem（不是HaDoop FileSystem 的简称） 适用范围 超大文件：最新的容量达到PB级 流式数据访问：HDFS的构建思路：一次写入、多次读取时最高效的访问模式 低时间延迟的数据访问不适用HDFS 大量的小文 ...
分类：
其他好文 时间：
2018-04-07 11:28:21
阅读次数：
136
Filesystems that manage the storage across a network of machines are called distributed filesystemsOne of the biggest challenges is making the filesys ...
分类：
其他好文 时间：
2018-04-05 01:18:14
阅读次数：
173
1、什么是RDD？ 最核心 （*）弹性分布式数据集，Resilent distributed DataSet （*）Spark中数据的基本抽象 （*）结合源码，查看RDD的概念 RDD属性 * Internally, each RDD is characterized by five main pr ...
分类：
其他好文 时间：
2018-03-31 23:15:30
阅读次数：
379
Flink的Fault Tolerance，是在在Chandy Lamport Algorithm的基础上扩展实现了一套分布式Checkpointing机制，这个机制在论文"Lightweight Asynchronous Snapshots for Distributed Dataflows"中进 ...
分类：
其他好文 时间：
2018-03-28 23:57:57
阅读次数：
933
你：kafka是什么？ 我：嗯，这个嘛。。看官网。 Apache Kafka® is a distributed streaming platform Kafka is generally used for two broad classes of applications: Building re ...
分类：
其他好文 时间：
2018-03-22 17:29:11
阅读次数：
189
本文内容来自最近的一次分享，整理成一篇文章，主要关注区块链技术特点，几个发展阶段以及应用场景，文末有PPT下载地址。 一、进击的区块链 作为分布式记账（Distributed Ledger Technology，DLT）平台的核心技术，区块链被认为在金融、征信、物联网、经济贸易结算、资产管理等众多领 ...
分类：
其他好文 时间：
2018-03-21 21:13:58
阅读次数：
204
1.1 分布式文件系统 1.1.1 什么是分布式文件系统 相对于本机端的文件系统而言，分布式文件系统（英语：Distributed file system, DFS），或是网络文件系统（英语：Network File System），是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多 ...
分类：
其他好文 时间：
2018-03-20 11:46:10
阅读次数：
174
分布式系统（distributed system） 是建立在网络之上的软件系统,由多台计算机和通信的软件组件通过计算机网络连接（本地网络或广域网）组成。 使用分布式系统的好处： 因为软件的特性，所以分布式系统具有高度的内聚性和透明性。 内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。... ...
分类：
其他好文 时间：
2018-03-14 15:52:35
阅读次数：
155
最近接触了《软件技术基础》课程，老师推荐我们了解和使用Git。在资料查询后做出整理： （资料来自https://www.git-scm.com/book/zh/v1） 1、Git简介 Git是一个开源的分布式版本控制系统（Distributed Version Control System，简称 D ...
分类：
其他好文 时间：
2018-03-12 00:05:15
阅读次数：
172
一、概述 1.kafka是什么 根据标题可以有个概念：kafka是storm的上游数据源之一，也是一对经典的组合，就像郭德纲和于谦 根据官网：http://kafka.apache.org/intro 的解释呢，是这样的： Apache Kafka® is a distributed streami ...
分类：
其他好文 时间：
2018-03-10 11:45:32
阅读次数：
223
