欢迎转载,转载请注明出处,徽沪一郎。概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程,scala是需要编译才能执行的语言,但提供的scala repl可以实现代码的实时交互式执行,这是为什么呢?既然scala已经提供了repl,为什么spark还要自己单独搞一套sp...
分类:
其他好文 时间:
2014-07-07 14:29:15
阅读次数:
205
欢迎转载,转载请注明出处,徽沪一郎。概要本文以wordCount为例,详细说明spark创建和运行job的过程,重点是在进程及线程的创建。实验环境搭建在进行后续操作前,确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类:
其他好文 时间:
2014-07-07 14:14:34
阅读次数:
231
alias ll='ls -al'use_color=false# Set colorful PS1 only on colorful terminals.# dircolors --print-database uses its own built-in database# instead of ...
分类:
其他好文 时间:
2014-07-07 13:41:54
阅读次数:
245
今日在微博看到如此神奇的代码,居然还有新的sort算法,对于我这种渣渣必须研究一下,代码如下:
#!/bin.bash
function f()
{
sleep "$1" //sleep 这么多ms
echo "$1"
}
while [ -n "$1" ] //第一个参数不为空
do
f "$1" & //后台运行,相当于fork一个进程去执行f, 父进程同...
分类:
其他好文 时间:
2014-06-30 08:41:57
阅读次数:
256
首先来看看变量的问题
[root@localhost ~]# dhh=1
[root@localhost ~]# echo $dhh
1
开一个子shell测试
[root@localhost ~]# bash
[root@localhost ~]# echo $dhh
没有值
使用export
[roo...
分类:
系统相关 时间:
2014-06-30 00:53:44
阅读次数:
270
1. start IDLE
“Python 2.5”→“IDLE(Python GUI)”
2. open your source file window
From python shell, select file->open...
3. show debug control
From python shell, select Debug->Debuger
4....
分类:
编程语言 时间:
2014-06-29 22:47:26
阅读次数:
356
一、前言——
大家一定在百度音乐上在线听过歌,有没有注意到那个旋转唱片——
就上面那个,当音乐在播放的时候,那个光碟轮子在转,就想旋转木马一般。感觉好好玩啊。
碰巧想起前阵子做音乐播放器,哎,那这个也可以做在手机的音乐播放器上,这样就代替了进度条了。
一想到,就兴奋,于是,首先画圆形,然后放置背景图片,然后使用动画旋转。当音乐播放时,同时
开始播放圆形图片的动画,当音乐暂停时,暂...
分类:
移动开发 时间:
2014-06-29 22:32:09
阅读次数:
317
packagecom.yuhui.gd.hadoop.hbase;importjava.util.Iterator;importjava.util.Map;importjava.util.Map.Entry;importjava.util.NavigableMap;importjava.util.Set;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.ap..
分类:
编程语言 时间:
2014-06-29 21:09:00
阅读次数:
453
find命令
find pathname -options [-print -exec -ok ...]
-print: find命令将匹配的文件输出到标准输出。
-exec: find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为'command' { } \;,注意{ }和\;之间的空格。
-ok: 和-exec的作用相同,只不过以一种更...
分类:
系统相关 时间:
2014-06-29 20:48:34
阅读次数:
355
Maven提供了三个隐式的变量可以用来访问环境变量,POM信息,和Maven Settingsenvenv变量,暴露了你操作系统或者shell的环境变量。便 如在Maven POM中一个对${env.PATH}的引用将会被${PATH}环境变量替换,在Windows中为%PATH%.projetcp...
分类:
其他好文 时间:
2014-06-29 18:57:44
阅读次数:
163