HDFS特点概述
Hadoop整合抽象了众多的文件系统类,HDFS只是其中一种的具体实现。它是基于流数据模式和处理超大文件的需求开发的,主要特点如下:
处理超大文件
这里的超大文件通常是指MB到TB级别的数据文件,在实际应用中已经可达到PB级。
流式地访问数据
HDFS提供一次写入,多次读取的服务。...
分类:
其他好文 时间:
2014-09-27 20:51:00
阅读次数:
665
一. 概述
职责链模式:
使多个对象都有机会处理请求,从而避免请求的发送者和接收者之间的耦合关系。将这些对象连成一条链,并沿着这条链传递该请求,直到有一个对象处理它为止。
二. 举个例子
员工要求加薪
公司的管理者一共有三级:总经理、总监、经理,如果一个员工要求加薪,应该向主管的经理申请,如果加薪的数量在经理的职权内,那么经理可以直接批准,否则将申请上交给总监。总...
分类:
编程语言 时间:
2014-09-27 19:55:30
阅读次数:
309
Spark概述
当前,MapReduce编程模型已经成为主流的分布式编程模型,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷,如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年,社区出现了优化改进M...
分类:
其他好文 时间:
2014-09-27 18:23:00
阅读次数:
573
一些基本常识l 软件开发软件:一系列按照特定顺序组织的计算机数据和指令的集合。常见的软件:系统软件如:DOS,windows,Linux等。应用软件如:扫雷,迅雷,QQ等。开发就是制作软件。l 人机交互方式软件的出现实现了人与计算机之间的更好的交互。交互方式:图形化界面(Graphical User...
分类:
编程语言 时间:
2014-09-27 17:51:10
阅读次数:
373
概述直观上看随机过程用来描述空间中粒子的随机运动,用数学语言定义如下:设(Ω,F,P)为完备概率空间,(E,ε)为可测空间,T为一个指标集,
分类:
其他好文 时间:
2014-09-27 15:36:19
阅读次数:
136
一. 概述
Observer 模式要解决的问题为:建立一个一(Subject)对多(Observer)的依赖关系,并且做到当“一”变化的时候,依赖这个“一”的多也能够同步改变。
Sbuject 相当于通知者,它提供依赖于它的观察者Observer 的注册(Attach)和注销(Detach)操作,并且提供了使得依赖于它的所有观察者同步的操作(Notify)。
Obse...
分类:
编程语言 时间:
2014-09-27 14:43:59
阅读次数:
355
本章要与 gen_server(3) 结合起来阅读,它详细描述了所有的接口函数和回调函数。客户端-服务器端原理客户端-服务器端(C/S)模型的特点是:一个中央服务器和任意数量的客户端。C/S模型通常用于资源管理操作,其中一些不同的客户端要共享一个公共资源。服务器负责管理这些资源。例子在概述中,已经有...
分类:
其他好文 时间:
2014-09-27 14:23:59
阅读次数:
272
一、概述
原来我们利用工厂来实现灵活的配置。现在利用Spring以后把这个交给了IoC容器管理。我们只要在XML文件上配上就可以了这样的话就节省了很多开发时间我们不需要知道后面的有多少只要动态的配上类就可以了下面就给大家做一个例子
二、代码展示。
文件目录如下图:
需要引用的jar包:
spring.jar
Lib/log4j/log4j.jar
Lib/jaka...
分类:
编程语言 时间:
2014-09-27 14:00:19
阅读次数:
197
本OTP设计原则是针对如何根据进程、模块和目录组织Erlang代码的一系列原则。监督树在Erlang/OTP中有一个基本概念叫监督树。这是一种建立在督程与佣程思想上的进程结构化模型。佣程(worker)是进行计算的进程,也就是说,它们进行实际的工作。督程(supervisor)是监视工作者行为的进程...
分类:
其他好文 时间:
2014-09-27 13:43:19
阅读次数:
163
概述:编程算法,是完成程序逻辑的主要途径。本文推荐十大编程算法,有利于程序员的编程逻辑。算法一:快速排序算法快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下,排序n个项目要Ο(nlogn)次比较。在最坏状况下则需要Ο(n2)次比较,但这种状况并不常见。事实上,快速排序通常明显比其他Ο(nlo...
分类:
其他好文 时间:
2014-09-27 12:05:39
阅读次数:
312