码迷,mamicode.com
首页 >  
搜索关键字:分布式计算    ( 922个结果
视频编码器评估与参数优化
视频编码器评估与参数优化是个比较麻烦的问题,主要原因是:编码器种类多,输入的参数繁多,参数的相互影响非线性,深入理解其实现需要投入巨大的精力或者不可能(对于商业产品而言)。而另一方面,评估和选择编码器、针对特定的目标选择最优的编码参数组合对于视频服务商——比如视频网站来说,是一个现实的需要。有感于或者苦恼于如何选择最优的方案,笔者通过对多目标优化方法的尝试进行了一定的探索。...
分类:其他好文   时间:2014-11-15 10:10:44    阅读次数:225
MapReduce的InputFormat过程的学习
昨天经过几个小时的学习,把MapReduce的第一个阶段的过程学习了一下,也就是最最开始的时候从文件中的Data到key-value的映射,也就是InputFormat的过程。虽说过程不是很难,但是也存在很多细节的。也很少会有人对此做比较细腻的研究,学习。今天,就让我来为大家剖析一下这段代码的原理。我还为此花了一点时间做了几张结构图,便于大家理解。在这里先声明一下,我研究的MapReduce主要研...
分类:其他好文   时间:2014-11-14 12:40:55    阅读次数:156
谈谈ODPS商业化(六):ODPS小伙伴SLS和DPC
在典型的大数据解决方案里,除了以ODPS这样的离线分布式计算引擎为核心,周边还需要日志收集、开发IDE、工作流调度、数据质量监控、BI报表等等一系列配套机制。因此ODPS用户往往还会对SLS和DPC等服务感兴趣。 先说SLS(简单日志服务),这是阿里云提供的针对日志收集、存储、查询和分析的云服务。用...
分类:其他好文   时间:2014-11-12 21:08:16    阅读次数:402
Linux NFS介绍及相关配置
◆一、概念NFS是网络文件系统(NetworkFileSystem)的简称,是分布式计算机系统的一个组成部分,可实现在异构网络上共享和装配远程文件系统。NFS由SUN公司开发,目前已成为文件服务的一种标准(RFC1904,RFC1813)。其最大的功能就是可以通过网络,让不同操作系统的计算 机可以..
分类:系统相关   时间:2014-11-12 12:00:10    阅读次数:344
[转] 关于EJB分析
这是一篇非常好的关于 EJB的文章,转载下来大家一起分享。...
分类:其他好文   时间:2014-11-12 00:39:13    阅读次数:223
大数据时代之hadoop(六):hadoop 生态圈(pig,hive,hbase,ZooKeeper,Sqoop)
hadoop是有apache基金会所开发的分布式系统基础架构,其主要提供了两方面的功能:分布式存储和分布式计算。其中分布式存储是分布式计算的基础,在hadoop的实现里面,提供了分布式存储的接口,并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现,其同时支持别的存储系统,并在别的存储系统上运行分布式计算程序(mapreduce)。     从开发角度来说,h...
分类:其他好文   时间:2014-11-11 09:22:37    阅读次数:239
WebService测试方案
1.WebService简介WebService是一种革命性的分布式计算技术,本质上就是网络上可用的API,可以直接在网络环境调用的方法。WebService常用的框架有axis、xfire、cxf等。WebService发布后,其服务是封装在一个wsdl(Web Services Descript...
分类:Web程序   时间:2014-11-10 09:50:15    阅读次数:274
Google的分布式计算模型Map Reduce map函数将输入分割成key/value对
http://www.nowamagic.net/librarys/veda/detail/1768上一篇大规模分布式数据处理平台Hadoop的介绍中提到了Google的分布式计算模型Map Reduce,这里再单独拿出来了解一下。并行计算简介计算机的早期阶段,程序都是serial(连续的),类似于...
分类:其他好文   时间:2014-11-09 11:07:45    阅读次数:227
Redis源码分析(三十二)--- redis-cli.c客户端命令行接口的实现(1)
分析了将近1个月的Redis源代码了,也到了最核心的,最贴近系统开始的地方了,我把他取名为main目录,里面就包括了2个重要的文件,redis-cli和redis文件,1个代表的是客户端的执行文件,1个代表的是服务端的文件,这2个也是整个系统最最核心的模块,所以我把他归结到main主程序模块了,主程序模块也是我学习Redis最后的一个模块,在这里一定能看到我之前看到的所有各个功能模块的痕迹。由于主...
分类:其他好文   时间:2014-11-06 10:55:16    阅读次数:425
大数据时代之hadoop(五):hadoop 分布式计算框架(MapReduce)
hadoop的核心分为两块,一是分布式存储系统-hdfs,这个我已经在上一章节大致讲了一下,另一个就是hadoop的计算框架-mapreduce。mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。其计算分为两个阶段,map阶段和reduce阶段,都是对数据的处理,由于其入门非常简单,但是若想理解其中各个环节及实现细节还是有一定程度的困难,因此我计划在本文中只是挑几个...
分类:其他好文   时间:2014-11-03 11:33:05    阅读次数:265
922条   上一页 1 ... 80 81 82 83 84 ... 93 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!