从《Hadoop权威指南》选取了一个小案例，在Hadoop集群环境中运行。1、新建JAVA类，保存书中源代码。[huser@master bin]$ vi
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
分类：
其他好文 时间：
2014-05-14 03:52:36
阅读次数：
457
分布式存储当下互联网飞速发展，海量并发所产生的数据量以几何方式增长，随着信息链接方式日益多样化，数据存储的结构也发生了变化，在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战，比如：数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可..
分类：
其他好文 时间：
2014-05-12 04:08:32
阅读次数：
493
w load average: 0.12, 0.09, 0.02
1,5,15分钟的负载情况,0.8以下为正常 JCPU 对应的用户执行命令所占用的cpu时间 PCPU 执行当前命令占用的cpu时间 WHAT ...
分类：
系统相关 时间：
2014-05-11 22:54:37
阅读次数：
416
在上一篇博客中，一个简单的AIOweb处理例子，可以看到AIO异步处理，依赖操作系统完成IO操作的Proactor处理模型确实很强大，可以是实现高并发，高响应服务器的不错选择，但是在tomcat中的connector的处理模型还依旧是基于NIO的处理，当然，我认为这可能会在以后的版本进行改进，但另一方面，我更认为AIO的负载控制方面的处理可能是比较难的，因为AIO api并没有提供我们对分配线程组的处理，而只是提供一个线程组，交给操作系统去解决io处理上的问题，所以，这可能会给需要复杂处理的负载均衡带来一定...
分类：
Web程序 时间：
2014-05-11 22:07:20
阅读次数：
385
目标
（1） 了解在多核cpu环境下，erlang并发进程调度对各个cpu核负载的影响；
（2） Erlang虚拟机的内存增加机理；
（3） Erlang进程的调度情况；
（4） Linux下监控cpu的使用状况
实验环境
联想小型机：操作系统：RedHat Enterprise LinuxServer release6.4（Santia...
分类：
系统相关 时间：
2014-05-11 21:17:03
阅读次数：
492
一、CoroSynccorosync最初只是用来演示OpenAIS集群框架接口规范的一个应用，可以说corosync是OpenAIS的一部分，然而后面的发展超越了官方最初的设想，越来越多的厂商尝试使用corosync作为集群解决方案。如Redhat的RHCS集群套件就是基于corosync实现。corosync只提供了messagela..
分类：
其他好文 时间：
2014-05-11 19:43:46
阅读次数：
532
MogileFS是一套高效的文件自动备份组件，由SixApart开发，广泛应用在包括LiveJournal等web2.0站点上。MogileFS由3个部分组成：第1个部分：是server端，包括mogilefsd和mogstored两个程序。前者即是mogilefsd的tracker，它将一些全局信息保存在数据库里，例如站点domain,class,h..
分类：
其他好文 时间：
2014-05-11 19:38:37
阅读次数：
571
大纲：一、关于MogileFS二、常见分布式文件系统三、MogileFS基本原理四、MogileFS的实现一、关于MogileFS当下我们处在一个互联网飞速发展的信息社会，在海量并发连接的驱动下每天所产生的数据量必然以几何方式增长，随着信息连接方式日益多样化，数据存储的结构也随着发生了变..
分类：
其他好文 时间：
2014-05-11 19:28:18
阅读次数：
570
接续接上篇缓存时代来临为蓝本,继续改造我们的百万级站点架构,这次我们拿之前存储静态内容的nfs开刀,众所周知nfs的多台集群节点下可能由于多重原因(磁盘io,网络带宽,并发场景),不适合做文件共享系统的基础结构.互联网站点中,存在大量图片或其他静态内容,并且这些内容一般在1M之..
分类：
其他好文 时间：
2014-05-11 19:16:07
阅读次数：
674
