Hadoop 的优势
Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发运行处理海量数据的应用程序。它主要有以下几个优点:
1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。
2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完成计算任务的, 这些集簇可以方便地...
分类：
其他好文 时间：
2014-05-22 12:26:27
阅读次数：
217
简介
此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。
Use Case
下一部分描述的的代码示例对此用户用例是可用的。
一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类：
其他好文 时间：
2014-05-22 10:40:41
阅读次数：
255
曾几何时，只是一直在调用库函数fork,只知道它创建一个子进程，并且子进程返回值是0，父进程返回值是子进程pid。但是一直没有深究内核代码，今天终于使用gdb调试了一把fork的内核代码，下面就让我们一探究竟吧。
1.创建进程的本质是什么？
根据目前理解，其实就是构造了PCB，这个PCB会唯一标示一个进程的存在，并且会构建子进程的页目录和页表等等。
2.为什么fork()调用会有2个返回值，...
分类：
系统相关 时间：
2014-05-22 10:40:01
阅读次数：
404
这篇文章不提原理，讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？
官方定义：hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop大概就帮助我们做了...
分类：
其他好文 时间：
2014-05-22 10:34:39
阅读次数：
288
Robberies http://acm.hdu.edu.cn/showproblem.php?pid=2955
背包;第一次做的时候把概率当做背包(放大100000倍化为整数):在此范围内最多能抢多少钱 最脑残的是把总的概率以为是抢N家银行的概率之和…
把状态转移方程写成了f[j]=max{f[j],f[j-q[i].v]+q[i].money}(f[j]表示在概...
分类：
其他好文 时间：
2014-05-22 09:43:12
阅读次数：
282
hadoop有种简化机制来管理job和control的非线性作业之间的依赖，job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。
x.addDeopendingJob(y)意味着x在y完成之前不会启动。
鉴于job对象存储着配置和依赖信息，jobcontrol对象会负责监管作业的执行，通过addjob（），你可以为jobcont...
分类：
其他好文 时间：
2014-05-22 07:27:41
阅读次数：
287
蚁群算法(ant colony optimization, ACO)，又称蚂蚁算法，是一种用来在图中寻找优化路径的机率型算法。它由Marco Dorigo于1992年在他的博士论文中提出，其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。蚁群算法是一种模拟进化算法，初步的研究表明该算法具有许多优良的性质。针对PID控制器参数优化设计问题，将蚁群算法设计的结果与遗传算法设计的结果进行了比较，数值仿真结果表明，蚁群算法具有一种新的模拟进化优化方法的有效性和应用价值。...
分类：
其他好文 时间：
2014-05-22 07:01:20
阅读次数：
207
版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：123,good number
124,common number
125,bad numberuser：zhangsan,123
lisi,124
w...
分类：
其他好文 时间：
2014-05-22 06:23:52
阅读次数：
391
D. Number theory
Time Limit: 1000ms
Case Time Limit: 1000ms
Memory Limit: 65536KB
64-bit integer IO format: %lld Java class name: Main
Submit Status PID:
34055
Font Size:
+
...
分类：
其他好文 时间：
2014-05-20 16:24:12
阅读次数：
245
FZU：http://acm.fzu.edu.cn/problem.php?pid=1920题意：叫你玩扫雷游戏，已经告诉你地雷的位置了，问你最少点几次鼠标左键可以赢这盘扫雷题解：直接DFS,（注意这里是8个方向搜索不是4个方向），然后把0周围的不是雷的格子置0，然后统计不是0也不是雷的格子数量，然...
分类：
其他好文 时间：
2014-05-20 10:15:11
阅读次数：
309
