推荐Coursera上的响应式编程课程，这个课程是scala语言的进阶课程。课程的开始提出了这样一个应用场景:构建Json串，不知道Json的同学随便google一下。为了做到这些事情，我们定义了下面的一些类abstract class JSON case class JSeq(elems: Lis...
分类：
其他好文 时间：
2014-08-05 18:55:09
阅读次数：
236
可伸缩的语言[1]是一种多范式的编程语言，一种类似java的编程[2]，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala是在JVM上运行（来自百度）
分类：
其他好文 时间：
2014-08-05 18:15:09
阅读次数：
155
WEB UI和Metrics子系统为外部观察监测Spark内部运行情况提供了必要的窗口，本文将简略的过一下其内部代码实现。
分类：
Web程序 时间：
2014-08-05 11:06:49
阅读次数：
311
Unbuntu系统是我们开发Hadoop时最常用的操作系统，下面带领大家一步步完成Vmware虚拟机下Unbuntu系统的安装创建Vmware中的虚拟系统：我们选择的是“Typical”的方式，点击“Next”进入下一步：选择稍后安装操作系统，点击“Next”进入下一步：选择安装Linux系统的Ub...
分类：
其他好文 时间：
2014-08-05 11:04:59
阅读次数：
309
Worker所起的作用有以下几个：
1. 接受Master的指令，启动或者杀掉Executor
2. 接受Master的指令，启动或者杀掉Driver
3. 报告Executor/Driver的状态到Master
4. 心跳到Master，心跳超时则Master认为Worker已经挂了不能工作了
5. 向GUI报告Worker的状态...
分类：
其他好文 时间：
2014-08-05 00:50:08
阅读次数：
364
MapReduce源码分析之MapTask详解的后半段文章。在分析过程中我们知道了MapTask是如何使用循环缓存区管理数据，知道了数据在缓存不下是如何做spill处理的，spill输出的数据格式，combiner如何处理，如何将多一个文件merge为一个等等。也希望通过阅读这部分源码能学习到部分设计思路，能在未来的设计中提供多一种思路。...
分类：
其他好文 时间：
2014-08-05 00:47:18
阅读次数：
484
本文主要介绍了Spark SQL里目前的CLI实现，代码之后肯定会有不少变动，所以我关注的是比较核心的逻辑。主要是对比了Hive CLI的实现方式，比较Spark SQL在哪块地方做了修改，哪些地方与Hive CLI是保持一致的。
基本上Spark SQL在CLI这块的实现很靠近Hive Service项目里的CLI模块，主要类继承体系、执行逻辑差不多都一样。Spark SQL修改的关键逻辑在CLIService内的SessionManager内的OperationManager里，将非元数据查询操作的q...
分类：
数据库 时间：
2014-08-05 00:44:58
阅读次数：
939
【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂
分类：
其他好文 时间：
2014-08-04 17:08:57
阅读次数：
211
1 概述
Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
在部署和运行Spark Application的过程中，如果不注意一些小的细节，也许会导致一些问题的出现。
2 防火墙
部署好Spark...
分类：
其他好文 时间：
2014-08-04 14:23:27
阅读次数：
297
0.简介
Scala（发音为 /?skɑ?l?,
?ske?l?/）是一种多范式的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。
Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。Scala的编译模型（独立编译，动态类加载）与Java和C#一样，所以Scala代码可以调用Java类库（对于.NET实现则可调用.NET类库）。
Scala包包...
分类：
其他好文 时间：
2014-08-04 02:05:46
阅读次数：
420
