前几章将有特点的公有云计算平台都介绍了一下，这里费下嘴，不是说只有这些云平台，实际上有很大，到现在Bat、360等都得云计算平台有涉及，方向、功能大体相似，我们常用的网盘算是其中之一。通过前面云计算的介绍，云计算相关的虚拟化、并行计算、主机管理等技术，我们也积累很多东西，现在就开始应用到实践中。...
分类：
其他好文 时间：
2014-12-31 22:53:16
阅读次数：
290
Reactor模式和NIO本文可看成是对Doug Lea Scalable IO in Java一文的翻译。当前分布式计算 Web Services盛行天下，这些网络服务的底层都离不开对socket的操作。他们都有一个共同的结构：1. Read request2. Decode request3. ...
分类：
其他好文 时间：
2014-12-31 17:48:08
阅读次数：
291
通过京东技术演进和淘宝技术演进，探察未来技术和架构
我们从京东和淘宝技术架构演进，可以看出电商在发展过程中的必经之路：Mysql->Oracle->分布式计算和分布式存储->???未来...
分类：
其他好文 时间：
2014-12-23 22:45:54
阅读次数：
217
二、ubuntu 12.04hadoop2.6配置与安装1、java7配置#su#addusermyhaspl下面增加su权限使得myhaspl用户属于sudo组#vi/etc/groupsudo:x:27:,myhaspl然后重新启动#reboot 转到myhaspl用户，开始下载解压java。本博客所有内容是原创，如果转载请注明来源http://blog.csdn.net/myhaspl/#s...
分类：
编程语言 时间：
2014-12-22 12:59:05
阅读次数：
238
hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。 其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表 hadoop只支持HDFS这一中实现，其同时支...
分类：
其他好文 时间：
2014-12-22 10:47:29
阅读次数：
164
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。术语 Ma...
分类：
其他好文 时间：
2014-12-22 10:46:04
阅读次数：
270
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处.....
分类：
其他好文 时间：
2014-12-22 10:40:34
阅读次数：
238
第一个参数iter是一个迭代器，涉及被map函数产生的键和值，它们是reduce实例。在本例中，单词随机被委托给不同的reduce实例，然后，要单词相同，处理它的reduce也相同，可确保最终合计是正确的。第二个参数params与map函数中一致，在此，仅简单使用disco.util.kvgroup()来提取每个单词统计计数，累计计数，yield(产生)结果。运行作业下面开始运行作业，可使用大量参...
分类：
其他好文 时间：
2014-12-19 00:41:47
阅读次数：
274
5、安装zookeeper本博客所有内容是原创，如果转载请注明来源http://blog.csdn.net/myhaspl/myhaspl@aaayun:~/jzmq-master$cd ..myhaspl@aaayun:~$wget http://apache.fayea.com/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz myhaspl@a...
分类：
其他好文 时间：
2014-12-17 18:29:38
阅读次数：
228
Paxos是一个基于消息传递的一致性算法，近几年被广泛应用于分布式计算中，Google的Chubby，Apache的Zookeeper都是基于它的理论来实现的，Paxos还被认为是到目前为止唯一的分布式一致性算法，其它的算法都是Paxos...
分类：
编程语言 时间：
2014-12-16 17:19:39
阅读次数：
162
