什么是Apache Hadoop？ Apache?Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身不是依靠 ...
分类：
其他好文 时间：
2018-08-02 14:50:30
阅读次数：
225
怎样才能让程序花费的时间最短?Hadoop 是分布式处理系统，可以从两方面进行入手：控制任务的处理数量，使之均衡分布在每个reduce上，不会使哪个任务因为数据量多大而使用过长的时间；增加reduce到一定的数量。 另外的制约因素是tasktracker的负载，一个tasktracker能同时运行多 ...
分类：
其他好文 时间：
2018-07-13 01:26:18
阅读次数：
244
一、概述谈到大数据，离不开云计算、物联网、数据中心这些关键基础技术。云计算是分布式处理、并行处理和网格计算的，或者说是这些计算机科学概念的商业实现。狭义上云计算指IT基础设施的交付和使用模式，即通过网络以按需、易扩展的方式获得所需资源；广义上云计算指服务的交付和使用模式，即通过网络以按需、易扩展的方式获得所需服务。云计算强调云存储和计算能力，是一个动态的过程。大数据是计算的对象，强调的是服务器的存
分类：
其他好文 时间：
2018-06-12 10:32:19
阅读次数：
224
一、概述概念：是一个可靠的、可伸缩的、分布式计算的开源软件。是一个框架，允许跨越计算机集群的大数据及分布式处理，使用简单的编程模型（mapreduce）可从单台服务器扩展至几千台主机，每个节点提供了计算和存储功能。不依赖于硬件处理HA，在应用层面实现特性4V：volumn体量大velocity速度快variaty样式多value价值密度低模块：hadoopcommon公共类库，支持其他模块HDFS
分类：
其他好文 时间：
2018-05-22 16:41:52
阅读次数：
210
原文:.Net中Remoting通信机制 Remoting通信机制 Remoting介绍 主要元素 通道类型 激活方式 对象定义 Remoting介绍 主要元素 通道类型 激活方式 对象定义 Remoting介绍 什么是Remoting，简而言之，我们可以将其看作是一种分布式处理方式。 从微软的产品 ...
分类：
Web程序 时间：
2018-05-17 15:20:37
阅读次数：
228
1. Flink Flink介绍： Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理， ...
分类：
其他好文 时间：
2018-05-11 20:11:02
阅读次数：
3306
ApacheHadoop是一个由Apache基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下，开发出可靠、可扩展的分布式计算应用。ApacheHadoop框架，允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展，充分利用了每台机器所提供本地计算和存储，而不是依靠硬件来提供高可用性。其本身被设计成在应用层检测和处
分类：
Web程序 时间：
2018-05-10 15:33:42
阅读次数：
176
HADOOP是apache旗下的一套开源软件平台，利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 ...
分类：
其他好文 时间：
2018-04-29 14:28:52
阅读次数：
228
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学 ...
分类：
其他好文 时间：
2018-04-17 11:31:17
阅读次数：
153
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka拓扑结构 安装和启动 Download Download t ...
分类：
其他好文 时间：
2018-04-15 19:43:26
阅读次数：
142
