这本书由宋立桓老师和陈建平老师共同合作，本书的切入点明确而清晰，从Hadoop生态明星Cloudera入手，单刀直入逐步引出各类大数据基础和核心应用框架。全书系统介绍了大数据的相关知识，全书共十八章（宋立桓老师撰写第一章到第十二章、陈建平撰写第十三章到第十八章），从大数据概述、Clouderahadoop平台的安装部署、并对大数据hadoop组件分别进行介绍，包括HDFS分布式文件系统、MapRe
分类：
其他好文 时间：
2018-11-14 21:00:22
阅读次数：
179
StatefulComputationsoverDataStreams(在数据流的有状态计算)ApacheFlink是一个用于分布式流和批处理数据的开源平台。Flink的核心是一个流数据流引擎，它为数据流上的分布式计算提供数据分布、通信和容错能力。Flink在流引擎之上构建批处理，覆盖本地迭代支持、托管内存和程序优化。通常在程序中的转换和数据流中的操作符之间存在一对一的对应关系。然而，有时一个转换
分类：
其他好文 时间：
2018-11-13 20:15:26
阅读次数：
197
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。
分类：
其他好文 时间：
2018-11-10 12:49:48
阅读次数：
180
Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的，用以改善MapReduce的表现。但是它也足够胜任其它的分布式计算框架。 YARN提供了一些能被请求调用的APIs，并处理集群资源。但是通常 ...
分类：
其他好文 时间：
2018-11-08 13:44:40
阅读次数：
152
一、hadoop简介 相信你或多或少都听过hadoop这个名字，hadoop是一个开源的、分布式软件平台。它主要解决了分布式存储（hdfs）和分布式计算(mapReduce)两个大数据的痛点问题，在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题。而现在的hadoop更 ...
分类：
其他好文 时间：
2018-11-06 01:02:39
阅读次数：
270
学hadoop需要什么基础？Hadoop作为大数据工业中的主引擎，Hadoop就像是大数据世的一把钥匙，想要进入数据世界，首先你得显得得到这把钥匙，才能打开大门。 学hadoop需要什么基础？Hadoop是一个分布式计算架构，更重要的是它是一个可扩展的生态系统，像IBM，EMC，Amazon，微软， ...
分类：
其他好文 时间：
2018-10-31 13:55:44
阅读次数：
206
HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布式文件系统。HDFS架构中有两类节点，一类是NameNode，又叫“元数据节点”，另一类是DataNode，又叫“数据节点”，分别执 ...
分类：
其他好文 时间：
2018-10-22 13:03:39
阅读次数：
177
云计算关于云计算的定义，目前为止至少有不下20种，这里选择了一种比较常见的定义：云计算，是分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术，网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的网络服务。云计算是一种资源
分类：
其他好文 时间：
2018-10-15 20:24:05
阅读次数：
185
飞天是由阿里云开发的一个大规模分布式计算系统，其中包括飞天内核和飞天开放服务。 飞天内核负责管理数据中心Linux集群的物理资源，控制分布式程序运行， 隐藏下层故障恢复和数据冗余等细节，有效提供弹性计算和负载均衡。如图所示，飞天体系架构主要包含四大块：1、资源管理、安全、远程过程调用等构建分布式系统 ...
分类：
其他好文 时间：
2018-10-13 16:09:17
阅读次数：
205
一、kafka使用背景 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 Wha ...
分类：
其他好文 时间：
2018-10-09 00:43:00
阅读次数：
164
