shuffle是处在map和reduce之间的过程。我们看一下这个过程都有哪些步骤,对这个问题了解的并不深,可能有错误,忘指正
1. map
map输出key,value,对应代码里的context.write(key, value);,这个步骤是将key,value写到内存buffer里了,这个内存的默认大小是100M
2. sort
当数据大小超过buffer容量的80%(默认)时,会...
分类:
其他好文 时间:
2014-07-22 22:39:53
阅读次数:
295
Linux ln命令详解及使用
ln是linux中一个非常重要命令,它的功能是为某一个文件在另外一个位置建立一个不同的链接,这个命令最常用的参数是-s,具体用法是:ln –s 源文件 目标文件。
1. ln命令概述
当我们需要在不同的目录,用到相同的文件时,我们不需要在每一个需要的目录下都放一个必须相同的文件,我们只要在某个固定的目录,放上该文件,然后在其它的目录下用ln命令链接(link)它就可以,不必重复的占用磁盘空间。例如:ln–s /bin/less /usr/local/bin/...
分类:
系统相关 时间:
2014-07-22 22:39:53
阅读次数:
253
(英文部分为转的。代码是个人代码)
1 What’s inotify
The inotify API provides a mechanism for monitoring file system events. Inotify can be used to monitor individual files, or to monitor directories. When a direc...
分类:
系统相关 时间:
2014-07-22 22:39:53
阅读次数:
476
寻找大富翁
Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)
Total Submission(s): 3541 Accepted Submission(s): 1503
Problem Description
浙江桐乡乌镇共有n个人,请找出该镇上的前m个...
分类:
其他好文 时间:
2014-07-22 22:39:53
阅读次数:
164
当看到2014年的央视新闻“关于留学生找工作的视频”后给我带来的是各种感叹和疑问。海龟为什么找工作难?提高班为何容易?容易为什么还比他们薪资高?中国的教育模式到底出现了什么问题?带着这一系列的疑问,我展开了分析和思考。
从视频中看到大量的海龟回国后面临的都是同一个问题“找工作难”。照常理说他们享受了“相对”高等的教育,为什么回国后还面临着同国内毕业生同样的问题呢?据网上报道:...
分类:
其他好文 时间:
2014-07-22 22:39:52
阅读次数:
231
符号表初始化 符号表用于建立符号名称、类型和值之间的关系。其中,名称为null结尾的任意字符串;类型为标识各种符号的整数;值为一个字符指针。符号表主要用来作为目标模块加载的基础,但在需要名称和值关联的任何时候都看使用。 运行系统中一般存在两个符号表结构sysSymTbl和statSymTbl。sysSymTbl为目标机的系统符号表,通过程序或tShell动态加载...
分类:
其他好文 时间:
2014-07-22 22:39:52
阅读次数:
261
Hardwood Species(7.1.1)(利用STL中自带的排序功能编程的实验范例)
Time Limit:10000MS Memory Limit:65536KB 64bit IO Format:%I64d
& %I64u
Submit Status
Description
Hardwoods are the botanical grou...
分类:
其他好文 时间:
2014-07-22 22:39:36
阅读次数:
212
强烈建议阅读一下最小割模型在信息学竞赛中的应用
其中2.2.2的Optimal Marks一题和此题建模非常相像。
在原图外围虚拟一圈‘D’,我们要最大化的周长,就可以等价为最大化相邻的'D'和'.' 的总对数,也就是最大化相邻格子不同类型的总对数。
按照论文中的建图方式,我们可以最小化相邻格子不同类型,
反过来想,稍微改变一下建图,就可以最小化相邻格子相同类型
建图:
将地图奇偶建图...
分类:
其他好文 时间:
2014-07-22 22:39:35
阅读次数:
244
又一版 A+B
Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)
Total Submission(s): 12894 Accepted Submission(s): 4901
Problem Description
输入两个不超过整型定义的非负10进...
分类:
其他好文 时间:
2014-07-22 22:39:35
阅读次数:
228