码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 编程模型    ( 4944个结果
MapReduce全局变量之捉虫记
写MapReduce程序时候,有时候需要用到全局变量,常用的全局变量实现由三种方式:Configuration设置、DistributedCache、文件传参。博主在使用Configuration时,在Mapper中却没法读取全局变量。请看博主是如何一步一步找到问题所在的...
分类:其他好文   时间:2014-06-16 12:21:33    阅读次数:296
在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
近期開始使用MapReduce,发现网上大部分样例都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理,这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。本文以一个简单的应用...
分类:其他好文   时间:2014-06-16 06:14:38    阅读次数:297
WCF学习日记
图书馆借阅了《WCF高级编程》,从6.11开始学习wcf,希望尽快熟悉原理和编程模型以及常用编程方法。 WCF是一个平台,也是一个框架,从Net.3.0 就在Net framework(无需安装) 。WCF将服务以SOA架构对外使用。SOA的宗旨就是让应用程序成为一个接口可以供其余程序使用。比如图书...
分类:其他好文   时间:2014-06-13 18:28:36    阅读次数:295
MapReduce——并行期望最大值化算法(EM在高斯混合分布中的应用)
并行期望最大值化算法(MapReduce)...
分类:其他好文   时间:2014-06-11 00:33:52    阅读次数:418
hadoop下实现kmeans算法——一个mapreduce的实现方法
hadoop上进行kmeans聚类,一次迭代只使用一个mapreduce...
分类:其他好文   时间:2014-06-10 14:01:32    阅读次数:236
常见的多线程编程模型
1.基本概念:sleep,join,yied,优先级.2.进程,线程:独立的内存空间,内存地址,不会相互影响。3.数据结构:(共享资源的软件模拟)-队列,4.并发控制:信号量机制(硬件机制原理),软件实现(锁机制-比如读写分离,基于二维的锁兼容性)5.障碍器,信号量,锁6.CPU密集型--计算,I/...
分类:编程语言   时间:2014-06-08 21:38:34    阅读次数:498
Fork/Join编程模型
1.一种并行计算的多线程编程模型2.开始--任务分割--多线程异步执行---任务合并--阻塞等待合并结果。(分治算法)3.work-stealing算法: 每个线程维护一个各自的双端的链表,有新任务时之间插入的前端优先执行,前端无任务时,窃取其他线程双端链表的任务加入到自己的尾端进行处理。 通常.....
分类:其他好文   时间:2014-06-08 21:28:47    阅读次数:357
Hbase入门
Hbase简介 Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。 类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:其他好文   时间:2014-06-08 18:24:32    阅读次数:563
android笔记6——intent的使用
今天挑出一节专门来说一下使用intent和intentfilter进行通信。 场景:一个Activity启动另一个Activity。 前面已经讲了Fragment的切换,Fragment顾名思义是基于碎片切换的,假如我们要切换屏幕,或者是service组件等等,这就要用到Intent。 此外还想说明一下,Intent还具有很好的设计思想在里面的。它将各种“启动意图”封装成一个一致编程模型,利...
分类:移动开发   时间:2014-06-08 10:41:07    阅读次数:358
MapReduce----并行支持向量机(PSVM)第二部分之原始对偶内点法
支持向量机的并行算法(MapReduce)...
分类:其他好文   时间:2014-06-08 03:51:35    阅读次数:272
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!