本章内容什么是HadoopHadoop项目及其结构Hadoop的体系结构Hadoop与分布式开发Hadoop计算模型—MapReduceHadoop的数据管理小结1.1 什么是Hadoop1.1.1 Hadoop概述Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布...
分类：
其他好文 时间：
2014-09-25 15:48:39
阅读次数：
320
分布式计算被誉为高端的东东，我想也是每个程序员都想涉足的领域了。前一段时间项目中遇到了大数据计算的问题，一般计算时间都要2~3小时，甚至一整天的。我想能不能利用多台机器分布式计算，减少计算时间呢？当前分布式计算框架主要有hadoop, google的map/reduce，或一些其它的框架。但这些东东...
分类：
编程语言 时间：
2014-09-25 14:29:29
阅读次数：
381
现状集群已不是什么新技术了，各个数据库厂商也都有了自己的成熟解决方案，目前数据库集群系统应用得比较成功，应用范围比较广泛的是：Oracle公司的Oracle9与IBM公司DB2。Oracle9采用Shared-storage的技术，DB2选择了Shared-nothing的技术，二者各有长短。
最新的数据库集群系统的理论基础是分布式计算，将数据分布到每个节点，所有的计算节点并行处...
分类：
数据库 时间：
2014-09-24 19:36:27
阅读次数：
341
对于分布式的概念既模糊又有些理解，总是无法很好的把握，似乎与我们工作无关，但又天天在用， 究竟什么是分布式，
它能做什么？从那下手，网上可以查到很多，都使我越来越糊涂，大概是分布式计算、分布式存储、分布式缓冲等。日日梳理这些
模糊的东西，希望能有一天，能从这里走出一条光明的路。...
分类：
其他好文 时间：
2014-09-24 02:40:25
阅读次数：
324
一、MapReduce简介1.1 MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，其执行流程如图1。这两个....
分类：
其他好文 时间：
2014-09-23 22:14:05
阅读次数：
368
RPC分布式计算
目录(?)[+]
RPC 是什么RPC 起源RPC 结构RPC 实现总结
近几年的项目中，服务化和微服务化渐渐成为中大型分布式系统架构的主流方式，而 RPC 在其中扮演着关键的作用。在平时的日常开发中我们都在隐式或显式的使用 RPC，一些刚入行的程序员会感觉 RPC 比较神秘，而一些有多年使用 RPC 经验的程序员虽然使用经验丰富，但有些对其原理也不...
分类：
其他好文 时间：
2014-09-23 12:21:04
阅读次数：
167
RPC分布式计算
目录(?)[+]
RPC 功能目标RPC 调用分类RPC 结构拆解RPC 组件职责RPC 实现分析
导出远程接口导入远程接口与客户端代理协议编解码传输服务执行调用
RPC 异常处理总结
《深入篇》我们主要围绕 RPC 的功能目标和实现考量去展开，一个基本的 RPC 框架应该提供什么功能，满足什么要求以及如何去实现它？
RPC 功能目标
R...
分类：
其他好文 时间：
2014-09-23 11:47:34
阅读次数：
363
集群和负载均衡的概念 集群(Cluster) 所谓集群是指一组独立的计算机系统构成的一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。 负载均衡(Load Balance) 网络的负载均衡是一种动态均衡技术，通过一些工具实时地分析...
分类：
其他好文 时间：
2014-09-22 20:47:03
阅读次数：
295
《深入篇》我们主要围绕 RPC 的功能目标和实现考量去展开，一个基本的 RPC 框架应该提供什么功能，满足什么要求以及如何去实现它？
RPC 功能目标
RPC 的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。为实现该目标，RPC 框架需提供一种透明调用机制让使用者不必显式的区分本地调用和远程调用，在前文《浅出篇》中给出了一种实现结构，基于...
分类：
其他好文 时间：
2014-09-22 14:24:22
阅读次数：
305
近几年的项目中，服务化和微服务化渐渐成为中大型分布式系统架构的主流方式，而 RPC 在其中扮演着关键的作用。 在平时的日常开发中我们都在隐式或显式的使用 RPC，一些刚入行的程序员会感觉 RPC 比较神秘，而一些有多年使用 RPC 经验的程序员虽然使用经验丰富，但有些对其原理也不甚了了。 缺乏对原理层面的理解，往往也会造成开发中的一些误用。
本文分上下两篇《浅出篇》和《深入篇》，其目标就是想尝试...
分类：
其他好文 时间：
2014-09-22 13:52:02
阅读次数：
243
