那如果我要更高速的处理呢？ 如果我是一个类似微博的公司，我希望显示不是24小时热博，我想看一个不断变化的热播榜，更新延迟在一分钟之内，上面的手段都将无法胜任。于是又一种计算模型被开发出来，这就是Streaming（流）计算。 Storm是最流行的流计算平台。流计算的思路是...
分类：
其他好文 时间：
2016-01-26 18:37:10
阅读次数：
146
大数据体系结构:Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。Spark将分布...
分类：
其他好文 时间：
2016-01-20 22:37:54
阅读次数：
485
软件开发之技能梳理 编程开发本质是运用程序和计算机来解决现实中的各种问题，因此，编程开发人员的才智发挥载体是计算机或者说计算设备，直接武器是程序。程序员用来进行编程开发所需要的技能，归结起来主要如下： 1. 理解计算模型和框架：顺序计算、并发计算（并行计算、分布式计算）； 理解应用所基于...
分类：
其他好文 时间：
2016-01-16 23:43:53
阅读次数：
243
1、MapReduce是一种分布式计算模型2、MapReduce合并了两种经典函数：映射（Mapping）:对集合里每一个目标都应用一个操作。例如：如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。化简（Reducing）：遍历集合中的元素来返回一个...
分类：
其他好文 时间：
2016-01-03 19:42:09
阅读次数：
166
在并行计算领域最著名的就是MPI模型，MPI是一种消息传递编程模型，在大规模科学计算领域已经成功应用了数年，而MapReduce则是一种近几年出现的相对较新的并行编程技术，但是MapReduce计算模型也是建立在数学和计算机科学基础上的，实践已经证明这种并行编程模型具有简单、高效的特点，最为重要.....
分类：
其他好文 时间：
2015-12-27 19:05:37
阅读次数：
171
你想建设一个能承受500万PV/每天的网站吗？ 500万PV是什么概念？服务器每秒要处理多少个请求才能应对？如果计算呢？一、PV是什么 PV是page view的简写。PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv。 二、计算模型 每台服务器每秒处理请求的数量=((80%*总PV量.....
分类：
其他好文 时间：
2015-12-21 23:38:38
阅读次数：
259
转自http://langyu.iteye.com/blog/992916 写的相当好！谈 mapreduce运行机制，可以从很多不同的角度来描述，比如说从mapreduce运行流程来讲解，也可以从计算模型的逻辑流程来进行讲解，也许有些 深入理解了mapreduce运行机制还会从更好的角度来描述，但...
分类：
其他好文 时间：
2015-12-14 01:21:07
阅读次数：
171
用Java实现Web服务器减小字体 增大字体 摘要：WWW的工作基于客户机/服务器计算模型，由Web 浏览器(客户机)和Web服务器(服务器)构成，两者之间采用超文本传送协议（HTTP）进行通信，HTTP协议的作用原理包括四个步骤：连接，请求，应答。根据上述HTTP协议的作用原理，本文实现了GET请...
分类：
Web程序 时间：
2015-12-08 20:22:35
阅读次数：
247
目前市场上做虚拟桌面云的厂家很多，本文主要介绍主要的桌面云厂家，供自己学习并与大家共勉！桌面虚拟化技术就是一种基于服务器的计算模型，并且借用了瘦客户端的模型，让管理员与用户能够同时获得两种方式的优点：将所有桌面虚拟机在数据中心进行托管并统一管理，同时能够获..
分类：
其他好文 时间：
2015-11-24 18:50:55
阅读次数：
348
针对大数量的文本数据，采用单线程处理时，一方面消耗较长处理时间，另一方面对大量数据的I/O操作也会消耗较长处理时间，同时对内存空间的消耗也是很大，因此，本文引入MapReduce计算模型，以分布式方式处理文本数据，以期提高数据处理速率。本文结合Kmeans和DBSCAN算法，对上述算法进行改进，其中...
分类：
其他好文 时间：
2015-11-13 00:45:24
阅读次数：
605
