Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级别的数据。 Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或 ...
分类:
其他好文 时间:
2017-07-07 16:35:36
阅读次数:
130
1. UUID: (Universally Unique Identifier) 通用唯一标识符, 是一个标识符标准用于软件架构,由开放软件基金会(OSF)作为分布式计算环境(DCE)的一部分而制作的标准。 UUID的目的是让分布式系统中的所有元素都能有唯一的辨识资讯,不需要透过中央控制端来做辨认资 ...
分类:
其他好文 时间:
2017-07-06 20:51:04
阅读次数:
195
C++ 虚函数表解析 前言 原文地址:http://blog.csdn.net/haoel/article/details/1948051/ C++中的虚函数的作用主要是实现了多态的机制。关于多态,简而言之就是用父类型别的指针指向其子类的实例,然后通过父类的指针调用实际子类的成员函数。这种技术可以让 ...
分类:
编程语言 时间:
2017-07-04 15:30:53
阅读次数:
297
CAP 定理 CAP 定理(也称为 Brewer 定理),是由计算机科学家 Eric Brewer 提出的,即在分布式计算机系统不可能同时提供以下全部三个保证: 一致性(Consistency):所有节点同一时间看到是相同的数据; 可用性(Availability):不管是否成功,确保每一个请求都能 ...
分类:
其他好文 时间:
2017-07-03 12:23:39
阅读次数:
190
原文链接:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块 ...
分类:
其他好文 时间:
2017-06-30 12:34:58
阅读次数:
180
Hadoop内核 | MapReduce(分布式计算框架) 源于Google的MapReduce论文 > √发表于2004年12月 √Hadoop MapReduce是Google MapReduce克隆版 MapReduce特点 > √良好的扩展性 √高容错性 √适合PB级以上海量数据的离线处理 ...
分类:
其他好文 时间:
2017-06-25 13:48:26
阅读次数:
117
1. HADOOP背景介绍 1.1 什么是HADOOP 1. HADOOP是apache旗下的一套开源软件平台 2. HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3. HADOOP的核心组件有 A. HDFS(分布式文件系统) B. YARN(运算资源 ...
分类:
其他好文 时间:
2017-06-17 14:22:15
阅读次数:
197
hadoop家族产品 1)Apache Hadoop:是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件框架。 2)Apache Hive:是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张数据库表, ...
分类:
其他好文 时间:
2017-06-16 16:40:19
阅读次数:
119
高性能计算机是用网络将多台计算机连接在一起。并构成一个统一的系统,从而拥有远超个人电脑的计算能力。这样利用网络,让计算机合作工作的并行系统又称为集群(cluster)。server、分布式计算机、超级计算机都是依照集群的方式组成的。 集群 server是指在网络中为客户提供服务的高性能计算机。一台的 ...
分类:
其他好文 时间:
2017-06-10 10:40:52
阅读次数:
275
1.分布式系统的架构体系 基于对象的体系机构 面向服务的架构(SOA) REST风格的架构 微服务架构(MSA) 容器技术 Serverless架构 2.分布式消息服务 Apache ActiveMQ RabbitMQ RocketMQ Apache Kafka 3.分布式计算 MapReduce ...
分类:
其他好文 时间:
2017-06-04 23:04:45
阅读次数:
407