写MapReduce程序时候,有时候需要用到全局变量,常用的全局变量实现由三种方式:Configuration设置、DistributedCache、文件传参。博主在使用Configuration时,在Mapper中却没法读取全局变量。请看博主是如何一步一步找到问题所在的...
分类:
其他好文 时间:
2014-06-16 12:21:33
阅读次数:
296
近期開始使用MapReduce,发现网上大部分样例都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理,这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。本文以一个简单的应用...
分类:
其他好文 时间:
2014-06-16 06:14:38
阅读次数:
297
图书馆借阅了《WCF高级编程》,从6.11开始学习wcf,希望尽快熟悉原理和编程模型以及常用编程方法。 WCF是一个平台,也是一个框架,从Net.3.0
就在Net framework(无需安装) 。WCF将服务以SOA架构对外使用。SOA的宗旨就是让应用程序成为一个接口可以供其余程序使用。比如图书...
分类:
其他好文 时间:
2014-06-13 18:28:36
阅读次数:
295
hadoop上进行kmeans聚类,一次迭代只使用一个mapreduce...
分类:
其他好文 时间:
2014-06-10 14:01:32
阅读次数:
236
1.基本概念:sleep,join,yied,优先级.2.进程,线程:独立的内存空间,内存地址,不会相互影响。3.数据结构:(共享资源的软件模拟)-队列,4.并发控制:信号量机制(硬件机制原理),软件实现(锁机制-比如读写分离,基于二维的锁兼容性)5.障碍器,信号量,锁6.CPU密集型--计算,I/...
分类:
编程语言 时间:
2014-06-08 21:38:34
阅读次数:
498
1.一种并行计算的多线程编程模型2.开始--任务分割--多线程异步执行---任务合并--阻塞等待合并结果。(分治算法)3.work-stealing算法:
每个线程维护一个各自的双端的链表,有新任务时之间插入的前端优先执行,前端无任务时,窃取其他线程双端链表的任务加入到自己的尾端进行处理。 通常.....
分类:
其他好文 时间:
2014-06-08 21:28:47
阅读次数:
357
Hbase简介
Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。
类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:
其他好文 时间:
2014-06-08 18:24:32
阅读次数:
563
今天挑出一节专门来说一下使用intent和intentfilter进行通信。
场景:一个Activity启动另一个Activity。
前面已经讲了Fragment的切换,Fragment顾名思义是基于碎片切换的,假如我们要切换屏幕,或者是service组件等等,这就要用到Intent。
此外还想说明一下,Intent还具有很好的设计思想在里面的。它将各种“启动意图”封装成一个一致编程模型,利...
分类:
移动开发 时间:
2014-06-08 10:41:07
阅读次数:
358