码迷,mamicode.com
首页 >  
搜索关键字:spark shell PV    ( 36425个结果
Pig系统分析(6)-从Physical Plan到MR Plan再到Hadoop Job
从Physical plan到Map-Reduce Plan 注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。 入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce j...
分类:其他好文   时间:2014-05-10 08:46:07    阅读次数:366
SSH学习之三 SSH与SCP无密码登录
通常情况下,每次使用ssh登录或使用scp复制远程系统的文件时,都需要提供密码,然后才能做进一步的处理。为了省略输入密码这一步骤,有时可以采用Shell脚本的方法解决,但这需要把手工输入的密码以明码形式放在脚本文件中。          利用密钥配置文件,OpenSSH可以是ssh远程登录与scp文件复制的操作过程中省略密码验证的中间环节。...
分类:其他好文   时间:2014-05-07 08:57:54    阅读次数:388
安全威胁无孔不入:基于Linux系统的病毒(转)
尽管在Linux里传播的病毒不多,但也是存在一些,我从一些安全站点搜集了一些资料。     1、病毒名称:     Linux.Slapper.Worm     类别: 蠕虫     病毒资料: 感染系统:Linux     不受影响系统:Windows 3.x, Windows 95, Windows 98, Windows NT, Windows 2000, Windo...
分类:系统相关   时间:2014-05-07 07:02:02    阅读次数:802
emacs中eshell的快捷键配制
eshell是emacs shell的简称,是emacs自带的shell.开始设置的时候还在想是否要找到它的key map (eshell-mode-map?). 原来它是采用hook设置,如下所示 (add-hook 'eshell-mode-hook (lambda () (local-set-key (kbd "C-j") 'switch-to...
分类:其他好文   时间:2014-05-07 05:25:39    阅读次数:253
Shell入门之脚本管理学习笔记
1.shell介于操作系统与用户之间,负责解释命令行   2./etc/shells 记录了系统支持的有效登录的shell   3./etc/passwd 最后一位可以看到用户默认的shell   4.直接输入shell的名称 可以切换shell   5.shell命令的记录可以用history查看 history -c 清除 历史命令存放在.bash_history文件中  ...
分类:其他好文   时间:2014-05-07 05:11:21    阅读次数:244
Pig系统分析(8)-Pig可扩展性
本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。 补充说明:前两天同事发现twitter推动的Pig On Spark项目:Spork,准备研究下。 UDFs 通过UDFs(用户自定义函数),可以自定义数据处理方法,扩展Pig功能。实际上,UDFS除了使用之前需要register/define外,和...
分类:其他好文   时间:2014-05-07 05:10:44    阅读次数:567
AIX 更改 shell 为 bash
bash是linux上默认的shell,可以使用tab补全,上下键切换历史命令等。   客户的服务器忽然更改成了AIX,telnet上去一看,晕,竟然默认的是ksh,用起来感觉很别扭,还是安装bash吧   安装过程如下:   1、下载bash的rpm安装包   2、传到AIX上后,直接用RPM解开:     # rpm -...
分类:其他好文   时间:2014-05-06 18:59:04    阅读次数:407
js:深入继承
/**  * js实现继承:  * 1.基于原型链的方式  * 2.基于伪造的方式  * 3.基于组合的方式  */ 一、基于原型链的方式 function Parent(){   this.pv = "parent";  } Parent.prototype.showParentValue = function(){   console.log(this.pv);  }...
分类:Web程序   时间:2014-05-06 18:49:35    阅读次数:387
shell编程基础
写脚本:写的是维护工具,也是写脚本的目的,用途shell,直译是壳shell脚本是面向过程的#!/bin/bash是指此脚本是用那种shell解释执行的,是特殊的表示符/etc/profile:给用户加载最基本的环境变量,配置全局变量~/.bash_profile:个人环境/etc/bashrc:配置别名或shell选项====..
分类:其他好文   时间:2014-05-06 17:25:18    阅读次数:262
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!