本文来源于《Hadoop技术内幕深入解析Hadoop common和HDFS架构设计与实现原理》一、Hadoop基本概念Hadoop是Apache基金会下的一个开源分布式计算平台，以Hadoop分布式文件系统(HDFS)和MapReduce分布式计算框架为核心，为用户提供了底层细节透明的分布式基础设...
分类：
其他好文 时间：
2015-03-03 21:58:21
阅读次数：
136
MySQL Cluster 是 MySQL 适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，允许在1个 Cluster 中运行多个MySQL服务器。MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引...
分类：
数据库 时间：
2015-02-25 15:44:07
阅读次数：
233
网络工程师眼中的docker好多年前，“云计算”这个名词刚出现的时候，好多概念还真是“云里雾里”、“虚无缥缈”，好多时候，大家把“云计算”等同于“网格计算”、“分布式计算”。似乎那个时候更注重是“计算”两字，或者可以说那个时候大家对云的理解还不够透彻，不知道“云..
分类：
其他好文 时间：
2015-02-08 15:36:58
阅读次数：
346
InputDStream的继承关系。他们都是使用InputDStream这个抽象类的接口进行操作的。特别注意ReceiverInputDStream这个类，大部分时候我们使用的是它作为扩展的基类，因为它才能（更容易）使接收数据的工作分散到各个worker上执行，更符合分布式计算的理念。所有的输入流都...
分类：
其他好文 时间：
2015-02-05 17:56:10
阅读次数：
205
13，14这两年，我的业余时间都花在了移动互联网技术和股票技术分析上，14年底，终于开发完成慢牛，上线小米应用商店、应用宝、百度应用商店。慢牛前端基于cordova+sencha touch开发，利用cordova把st应用打包成app，后端部署在阿里云，基于.net+mysql+redis，为了提高运算效率，还利用zeroMQ做了分布式计算。...
分类：
移动开发 时间：
2015-02-05 13:41:19
阅读次数：
298
Spark架构
Spark架构使用了分布式计算中master-slave模型，master是集群中含有master进程的节点，slave是集群中含有worker进程的节点。...
分类：
其他好文 时间：
2015-02-02 23:21:37
阅读次数：
516
从本质上来说，Hadoop就是提供了分布式存储（HDFS）与分布式计算（MapReduce）的服务。...
分类：
其他好文 时间：
2015-01-29 09:27:50
阅读次数：
202
Introduction
DPark是豆瓣开发的基于Mesos的开源分布式计算框架，是spark的python版克隆，Davids的作品，Beandb作者。是豆瓣刚开源的集群计算框架，类似于MapReduce，但是比其更灵活，可以用Python非常方便地进行分布式计算，并且提供了更多的功能以便更好的进行迭代式计算。DPark的计算模型是基于两个中心思想的：对分布式数据集的并行计算以及一些有...
分类：
编程语言 时间：
2015-01-28 19:47:43
阅读次数：
281
1. CAP理论 2000年7月，加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后，麻省理工学院的Seth Gilbert和Nancy Lynch从理论上证明了CAP。之后，CAP理论正式成为分布式计算领域的公认定理。...
分类：
其他好文 时间：
2015-01-28 16:09:58
阅读次数：
214
UUID含义是通用唯一识别码 (Universally Unique Identifier)，这 是一个软件建构的标准，也是被开源软件基金会 (Open Software Foundation, OSF) 的组织在分布式计算环境 (Distributed Computing Environment, DCE) 领域的一部份。UUID 的目的，是让分布式系统中的所有元素，都能有唯一的辨识资讯，而不需...
分类：
编程语言 时间：
2015-01-28 11:18:21
阅读次数：
233
