欢迎转载，转载请注明出处,徽沪一郎。概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套sp...
分类：
其他好文 时间：
2014-07-07 14:29:15
阅读次数：
205
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
alias ll='ls -al'use_color=false# Set colorful PS1 only on colorful terminals.# dircolors --print-database uses its own built-in database# instead of ...
分类：
其他好文 时间：
2014-07-07 13:41:54
阅读次数：
245
本书的这部分对MongoDB进行了一个大致的简介。包括了Javascript Shell和Ruby驱动，这俩都有例子 在第一章，我们将了解到MongoDB的历史，设计目的和实际使用的场景。我们还将了解到是什么MongoDB如此与众不同以至于我们使用NoSQL还命名它。 在学习第二章后，你会对Mong...
分类：
数据库 时间：
2014-07-03 11:14:45
阅读次数：
230
shell之文本过滤（正则表达式）分类：linux shell脚本学习2012-09-14 12:59213人阅读评论(0)收藏举报当从一个文件或命令输出中抽取或过滤文本时，可以使用正则表达式（R E） ，正则表达式是一些特殊或不很特殊的字符串模式的集合。^ 只只匹配行首$ 只只匹配行尾* 只一个单...
分类：
其他好文 时间：
2014-06-30 22:58:45
阅读次数：
224
今日在微博看到如此神奇的代码，居然还有新的sort算法，对于我这种渣渣必须研究一下，代码如下：
#!/bin.bash
function f()
{
sleep "$1" //sleep 这么多ms
echo "$1"
}
while [ -n "$1" ] //第一个参数不为空
do
f "$1" & //后台运行，相当于fork一个进程去执行f, 父进程同...
分类：
其他好文 时间：
2014-06-30 08:41:57
阅读次数：
256
首先来看看变量的问题
[root@localhost ~]# dhh=1
[root@localhost ~]# echo $dhh
1
开一个子shell测试
[root@localhost ~]# bash
[root@localhost ~]# echo $dhh
没有值
使用export
[roo...
分类：
系统相关 时间：
2014-06-30 00:53:44
阅读次数：
270
1. start IDLE
“Python 2.5”→“IDLE（Python GUI）”
2. open your source file window
From python shell, select file->open...
3. show debug control
From python shell, select Debug->Debuger
4....
分类：
编程语言 时间：
2014-06-29 22:47:26
阅读次数：
356
packagecom.yuhui.gd.hadoop.hbase;importjava.util.Iterator;importjava.util.Map;importjava.util.Map.Entry;importjava.util.NavigableMap;importjava.util.Set;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.ap..
分类：
编程语言 时间：
2014-06-29 21:09:00
阅读次数：
453
find命令
find pathname -options [-print -exec -ok ...]
-print： find命令将匹配的文件输出到标准输出。
-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为'command' { } \;，注意{ }和\；之间的空格。
-ok： 和-exec的作用相同，只不过以一种更...
分类：
系统相关 时间：
2014-06-29 20:48:34
阅读次数：
355
