码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell    ( 41706个结果
hadoop测试
lk@lk-virtual-machine:~$ cd hadoop-1.0.1 lk@lk-virtual-machine:~/hadoop-1.0.1$ cd bin lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./stop_all.sh bash: ./stop_all.sh: 没有那个文件或目录 lk@lk-virtual-machine:~...
分类:其他好文   时间:2014-05-10 09:58:55    阅读次数:462
Pig系统分析(6)-从Physical Plan到MR Plan再到Hadoop Job
从Physical plan到Map-Reduce Plan 注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。 入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce j...
分类:其他好文   时间:2014-05-10 08:46:07    阅读次数:366
常见shell操作
一、find命令详细find命令 -- 之查找指定时间内修改过的文件比如我们要查找linux下指定时间内做过改动的文件,我们可以用find命令,其实find命令的功能十分强大,下面我们通过几个简单的例子来学习下find命令的简单用法:find /opt -iname "*" -atime 1 -ty...
分类:其他好文   时间:2014-05-07 10:11:08    阅读次数:330
WP 前台或后台显示ShellToast
原文:WP 前台或后台显示ShellToastusing Microsoft.Phone.Shell;ShellToast toast = new ShellToast();toast.Title = "程序标题"; toast.Content = "内容"; toast.NavigationUri...
分类:其他好文   时间:2014-05-07 09:13:23    阅读次数:283
SSH学习之三 SSH与SCP无密码登录
通常情况下,每次使用ssh登录或使用scp复制远程系统的文件时,都需要提供密码,然后才能做进一步的处理。为了省略输入密码这一步骤,有时可以采用Shell脚本的方法解决,但这需要把手工输入的密码以明码形式放在脚本文件中。          利用密钥配置文件,OpenSSH可以是ssh远程登录与scp文件复制的操作过程中省略密码验证的中间环节。...
分类:其他好文   时间:2014-05-07 08:57:54    阅读次数:388
hadoop优质链接
http://wiki.apache.org/hadoop/FAQ...
分类:其他好文   时间:2014-05-07 07:51:10    阅读次数:229
安全威胁无孔不入:基于Linux系统的病毒(转)
尽管在Linux里传播的病毒不多,但也是存在一些,我从一些安全站点搜集了一些资料。     1、病毒名称:     Linux.Slapper.Worm     类别: 蠕虫     病毒资料: 感染系统:Linux     不受影响系统:Windows 3.x, Windows 95, Windows 98, Windows NT, Windows 2000, Windo...
分类:系统相关   时间:2014-05-07 07:02:02    阅读次数:802
Pig系统分析(8)-Pig可扩展性
本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。 补充说明:前两天同事发现twitter推动的Pig On Spark项目:Spork,准备研究下。 UDFs 通过UDFs(用户自定义函数),可以自定义数据处理方法,扩展Pig功能。实际上,UDFS除了使用之前需要register/define外,和...
分类:其他好文   时间:2014-05-07 05:10:44    阅读次数:567
Hadoop MapReduce2.0(Yarn)
MapReduce2.0(Yarn) MapReduce2.0是在Hadoop0.23开始采用的,叫做MapReduce2.0或者MRv2或者Yarn。 MRv2的主要思想是把jobtracker的任务分为两个基本的功能,一个是资源管理,一个是任务监控,这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器(ResourceManager)和每个应用程序的应用...
分类:其他好文   时间:2014-05-07 04:05:06    阅读次数:272
pktgen使用详细教程
网上有很多讲解pktgen的文章,但总是不够全面细致,看完之后自己还是不会写pktgen测试脚本,为此本文对pktgen进行详细的阐述,让大家看完本文后能够自己动手写pktgen shell. 1.pktgen简介 pktgen是一个位于linux内核层的高性能网络测试工具,由瑞士皇家理工大...
分类:其他好文   时间:2014-05-06 13:55:15    阅读次数:667
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!