之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套spark repl，这其中的缘由到底何在？...
分类：
其他好文 时间：
2014-07-07 21:40:04
阅读次数：
367
Built-in Control Structures 内置控制结构1 if 控制结构scala的if跟java的if结构上相同，功能上也差不太多，scala的说法是，if能够返回一个值 val fileName = if (!args.isEmpty) args(0) else "default....
分类：
其他好文 时间：
2014-07-07 18:33:10
阅读次数：
169
主要来自 Scala 语言发明人 Martin Odersky 教授的 Coursera 课程 《Functional Programming Principles in Scala》。3. Data and Abstraction3.1 Class Hierarchies这一集字幕不同步-,-，听...
分类：
其他好文 时间：
2014-07-07 18:19:32
阅读次数：
177
欢迎转载，转载请注明出处，徽沪一郎。概要在即将发布的spark 1.0中有一个新增的功能，即对sql的支持，也就是说可以用sql来对数据进行查询，这对于DBA来说无疑是一大福音，因为以前的知识继续生效，而无须去学什么scala或其它script.一般来说任意一个sql子系统都需要有parser,op...
分类：
数据库 时间：
2014-07-07 14:34:40
阅读次数：
396
欢迎转载，转载请注明出处,徽沪一郎。概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套sp...
分类：
其他好文 时间：
2014-07-07 14:29:15
阅读次数：
205
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
树状数组是一种优雅的数据结构，利用的是前缀和的思想，相当于是线段树的一部分，常常用来快速解决区间求和问题，比相应的线段树要快，因为常数小。单点更新+区间求和这个是树状数组最最基础的应用了给个例题 hdu 1166 1 #include 2 #include 3 #include 4 #incl...
分类：
其他好文 时间：
2014-06-30 14:33:57
阅读次数：
210
iOS开发网络篇—GET请求和POST请求一、GET请求和POST请求简单说明创建GET请求1 // 1.设置请求路径2 NSString *urlStr=[NSString stringWithFormat:@"http://192.168.1.53:8080/MJServer/lo...
分类：
移动开发 时间：
2014-06-30 14:20:34
阅读次数：
185
