一、 概念知识介绍
Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题,可以使没有并行 处理或者分布式计算经验的工程师,也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。
Hadoop MapReduce基于“分而治之”的思想,将计算任务...
分类:
其他好文 时间:
2014-05-10 04:39:09
阅读次数:
570
Contoso公司基础信息系统构建方案1.Contoso公司的需求分析:公司总共有60台计算机和五台服务器,根据公司的要求需要通过部署AD来构建公司的系统。?根据公司的架构首先了部署活动目录域。根据容错和负载均衡的原则我们部署两台域控来满足高可用的要求。同时将计算机加入域。?在..
分类:
其他好文 时间:
2014-05-09 06:47:53
阅读次数:
729
Apache HTTP Server 与 Tomcat 的三种连接方式介绍 整合 Apache
Http Server 和 Tomcat 可以提升对静态文件的处理性能、利用 Web 服务器来做负载均衡以及容错、无缝的升级应用程序。本文介绍了三种整合
Apache 和 Tomcat 的方式。 3 评论...
分类:
其他好文 时间:
2014-05-08 19:56:35
阅读次数:
358
Apache HTTP Server 与 Tomcat 的三种连接方式介绍 整合 Apache
Http Server 和 Tomcat 可以提升对静态文件的处理性能、利用 Web 服务器来做负载均衡以及容错、无缝的升级应用程序。本文介绍了三种整合
Apache 和 Tomcat 的方式。 3 评论...
分类:
其他好文 时间:
2014-05-08 19:48:45
阅读次数:
329
Akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala
的 Actor 模型应用。Actor模型并非什么新鲜事物,它由Carl
Hewitt于上世纪70年代早期提出,目的是为了解决分布式编程中一系列的编程问题。其特点如下:系统中的所有事物都可以扮演一个A...
分类:
其他好文 时间:
2014-05-08 12:32:32
阅读次数:
392
在流数据的处理过程中,为了保证处理结果的可信度(不能多算,也不能漏算),需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中,不能多算,比较容易理解。那么它又是如何作到即使数据处理结点被重启,在重启之后这些数据也会被再次处理呢?
分类:
其他好文 时间:
2014-05-06 00:58:21
阅读次数:
465
昨晚睡了一晚上的火车,刚到家,还没有洗脸,看看文章的访问量及评论都太多,radiowar在我文章评论及他的那篇评论文章里,提到菜鸟,小白,以及我的文章内容错误,误导大家等,看了这些,我觉得不得不站出来澄清一下,我在想如果文章内容错误,那么文章就必须要删除,所以我仔细的看了我的文章,仍然没有发现大的问...
分类:
其他好文 时间:
2014-05-05 10:56:36
阅读次数:
499
Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢?
读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:
其他好文 时间:
2014-05-02 23:22:14
阅读次数:
450
UniversalImageLoader是用于加载图片的一个开源项目,UniversalImageLoader是实现异步加载大量图片的源码和例子,包括缓存、硬盘缓存、容错机制等技术。在其项目介绍中是这么写的,支持多线程图片加载;提供丰富的细节配置,比如线程池大小,HTPP请求项,内存和磁盘缓存,图片...
分类:
其他好文 时间:
2014-05-02 00:24:43
阅读次数:
332
1.Hadoop简介Hadoop[h?du:p]实现了一个分布式文件系统(Hadoop
Distributed File
System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high
throughput)来访问应用程序的数...
分类:
其他好文 时间:
2014-04-30 03:17:00
阅读次数:
604