之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套spark repl，这其中的缘由到底何在？...
分类：
其他好文 时间：
2014-07-07 21:40:04
阅读次数：
367
Built-in Control Structures 内置控制结构1 if 控制结构scala的if跟java的if结构上相同，功能上也差不太多，scala的说法是，if能够返回一个值 val fileName = if (!args.isEmpty) args(0) else "default....
分类：
其他好文 时间：
2014-07-07 18:33:10
阅读次数：
169
主要来自 Scala 语言发明人 Martin Odersky 教授的 Coursera 课程 《Functional Programming Principles in Scala》。3. Data and Abstraction3.1 Class Hierarchies这一集字幕不同步-,-，听...
分类：
其他好文 时间：
2014-07-07 18:19:32
阅读次数：
177
欢迎转载，转载请注明出处，徽沪一郎。概要在即将发布的spark 1.0中有一个新增的功能，即对sql的支持，也就是说可以用sql来对数据进行查询，这对于DBA来说无疑是一大福音，因为以前的知识继续生效，而无须去学什么scala或其它script.一般来说任意一个sql子系统都需要有parser,op...
分类：
数据库 时间：
2014-07-07 14:34:40
阅读次数：
396
欢迎转载，转载请注明出处,徽沪一郎。概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套sp...
分类：
其他好文 时间：
2014-07-07 14:29:15
阅读次数：
205
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
众所周知，在程序开发中，难免会遇到须要匹配、查找、替换、推断字符串的情况发生，而这些情况有时又比較复杂，假设用纯编码方式解决，往往会浪费程序猿的时间及精力。因此，学习及使用正則表達式，便成了解决这一矛盾的主要手段。大 家都知道，正則表達式是一种能够用于模式匹配和替换的规范，一个正則表達式就是由普通....
分类：
编程语言 时间：
2014-07-07 14:09:54
阅读次数：
245
grep：在文件正文中查找指定的字符串语法：grep[参数] 查找模式 文件名[文件名]grep命令用于在指定文件内容中查找与模式匹配的行，并将匹配的行显示在标准输出上。如果没有指定文件，则从标准输出中读取。当在多个文件中进行查找时，将在每行输出之前加上文件名。在搜索的文件中允许使用通配符参数：-c...
分类：
其他好文 时间：
2014-07-03 11:24:30
阅读次数：
220
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
一、概述
正则表达式是一种可以用于模式匹配和替换的强有力的工具。其作用如下：
（1）测试字符串的某个模式。例如，可以对一个输入字符串进行测试，看在该字符串是否存在一个电话号码模式或一个信用卡号码模式。这称为数据有效性验证；
（2）替换文本。可以在文档中使用一个正则表达式来标识特定文字，然后可以全部将其删除，或者替换为别的文字；
（3）根据模式匹配从字符串中提取一个子字符串。可以用来在...
分类：
其他好文 时间：
2014-06-30 16:51:24
阅读次数：
332
