这篇文章不提原理,讲讲hadoop及其周边项目的作用。hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?官方定义:hadoop是一个开发和执行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据...
分类:
其他好文 时间:
2014-07-19 21:30:03
阅读次数:
179
微软发布 Windows Server 2012 RTM 已经有一段时间,在微软向 MSDN&Technet订阅用户以及MPN、MVL 用户提供 RTM 后,大规模的部署和升级开始了!相信大家或多或少都会遇到了一些问题,而今天要与大家分享的便是如何在 Windows Server 2012 上安装 ...
1、MapReduce理论简介
1.1 MapReduce编程模型
MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是Job...
分类:
其他好文 时间:
2014-07-16 16:20:31
阅读次数:
326
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://oldboy.blog.51cto.com/2561410/736710如果把来访用户比作来犯的"敌人",我们一定要把他们挡在800里地以外,即不能让他们的请求一下打到我们的指挥部(...
分类:
Web程序 时间:
2014-07-16 00:47:25
阅读次数:
626
BPM流程平台是企业信息化过程中非常重要的基础平台,随着企业规模的增长,利用BPM流程平台进行企业业务的整合变得更加迫切,目前国内外的工作流系统层出不穷,行业标准多种多样,虽然工作流主要功能国内比较知名的工作流软件基本上都具备,但功能的侧重点各不相同,增加了企业对工作流或BPM选型难度,本人选用目前...
分类:
其他好文 时间:
2014-07-16 00:41:21
阅读次数:
384
工作流的主要是为了简化工作流程,是有一定规模公司的不可或缺的信息化基础平台,工作流概念起源于生产组织和办公自动化领域,是针对日常工作中具有固定程序活动而提出的一个概念,目前国内外的工作流系统层出不穷,行业标准多种多样,虽然工作流主要功能国内比较知名的工作流软件基本上都具备,但功能的侧重点各不相同,增...
分类:
其他好文 时间:
2014-07-15 23:39:44
阅读次数:
371
ClamAV是一个在命令行下查毒软件官方地址:http://www.clamav.net/lang/en/官方文档:http://www.clamav.net/lang/en/doc/对于要大规模部署的情况来说,最好使用有效的包管理方式,这里使用的rpm包管理方式软件rpm包需要repoforge软件源注:添加软件源,请查看常用软件源的添加..
分类:
系统相关 时间:
2014-07-15 11:17:07
阅读次数:
610
这篇文章主要介绍SDF的研发过程,包括问题的提出,解决方案,以及部署在实际系统过程中遇到的问题,该论文发表在ASPLOS 2014会议上。首先问题来自于实际工业环境:随着数据中心将成为承载互联网用户存储和计算的主要战场,如何设计和改进体系结构以满足大规模系统对性能,成本,功耗以及可扩展性的要求。可以看到的是百度的ARM云服务器方案解决了存储的成本和功耗问题,而SDF架构则幅度提升了性能的性能(当然也会降低成本和功耗)。...
分类:
其他好文 时间:
2014-07-15 10:37:54
阅读次数:
208
----《大规模分布式存储系统:原理解析与架构实战》读书笔记
最近一直在分析OceanBase的源码,恰巧碰到了OceanBase的核心开发者的新作《大规模分布式存储系统:原理解析与架构实战》.看完样章后决定入手,果然物有所值。对于准备学习分布式的同学,这是一本不错的书籍,相对系统,全面的介绍了分布式的相关技术和项目,基本都是干货。还有一半是在介绍OceanBase的内容,对我来说,正是...
分类:
其他好文 时间:
2014-07-14 13:59:05
阅读次数:
228
片上网络技术发展现状及趋势浅析李丽 许居衍The State-of-the-art and perspectives on Network-on-Chip摘要:半导体工艺发展使得片上可以集成更大规模的硬件资源,片上网络的研究试图解决芯片中全局通信问题,使得从基于计算的设计转变为基于通信的设计,并实现...
分类:
其他好文 时间:
2014-07-14 00:39:58
阅读次数:
303