lk@lk-virtual-machine:~$ cd hadoop-1.0.1
lk@lk-virtual-machine:~/hadoop-1.0.1$ cd bin
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./stop_all.sh
bash: ./stop_all.sh: 没有那个文件或目录
lk@lk-virtual-machine:~...
分类:
其他好文 时间:
2014-05-10 09:58:55
阅读次数:
462
从Physical plan到Map-Reduce Plan
注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。
入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce
j...
分类:
其他好文 时间:
2014-05-10 08:46:07
阅读次数:
366
一、find命令详细find命令 --
之查找指定时间内修改过的文件比如我们要查找linux下指定时间内做过改动的文件,我们可以用find命令,其实find命令的功能十分强大,下面我们通过几个简单的例子来学习下find命令的简单用法:find
/opt -iname "*" -atime 1 -ty...
分类:
其他好文 时间:
2014-05-07 10:11:08
阅读次数:
330
原文:WP 前台或后台显示ShellToastusing
Microsoft.Phone.Shell;ShellToast toast = new ShellToast();toast.Title = "程序标题";
toast.Content = "内容"; toast.NavigationUri...
分类:
其他好文 时间:
2014-05-07 09:13:23
阅读次数:
283
通常情况下,每次使用ssh登录或使用scp复制远程系统的文件时,都需要提供密码,然后才能做进一步的处理。为了省略输入密码这一步骤,有时可以采用Shell脚本的方法解决,但这需要把手工输入的密码以明码形式放在脚本文件中。
利用密钥配置文件,OpenSSH可以是ssh远程登录与scp文件复制的操作过程中省略密码验证的中间环节。...
分类:
其他好文 时间:
2014-05-07 08:57:54
阅读次数:
388
http://wiki.apache.org/hadoop/FAQ...
分类:
其他好文 时间:
2014-05-07 07:51:10
阅读次数:
229
尽管在Linux里传播的病毒不多,但也是存在一些,我从一些安全站点搜集了一些资料。
1、病毒名称:
Linux.Slapper.Worm
类别: 蠕虫
病毒资料: 感染系统:Linux
不受影响系统:Windows 3.x,
Windows 95, Windows 98, Windows NT, Windows 2000, Windo...
分类:
系统相关 时间:
2014-05-07 07:02:02
阅读次数:
802
本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。
补充说明:前两天同事发现twitter推动的Pig On Spark项目:Spork,准备研究下。
UDFs
通过UDFs(用户自定义函数),可以自定义数据处理方法,扩展Pig功能。实际上,UDFS除了使用之前需要register/define外,和...
分类:
其他好文 时间:
2014-05-07 05:10:44
阅读次数:
567
MapReduce2.0(Yarn)
MapReduce2.0是在Hadoop0.23开始采用的,叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能,一个是资源管理,一个是任务监控,这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器(ResourceManager)和每个应用程序的应用...
分类:
其他好文 时间:
2014-05-07 04:05:06
阅读次数:
272
网上有很多讲解pktgen的文章,但总是不够全面细致,看完之后自己还是不会写pktgen测试脚本,为此本文对pktgen进行详细的阐述,让大家看完本文后能够自己动手写pktgen
shell. 1.pktgen简介 pktgen是一个位于linux内核层的高性能网络测试工具,由瑞士皇家理工大...
分类:
其他好文 时间:
2014-05-06 13:55:15
阅读次数:
667