王家林亲授《DT大数据梦工厂》大数据实战视频“Scala深入浅出实战经典”视频、音频和PPT下载！第62讲：Scala中上下文界定内幕中的隐式参数与隐式参数的实战详解及其在Spark中的应用源码解析百度云：http://pan.baidu.com/s/1pJoooun腾讯微云：http://url....
分类：
其他好文 时间：
2015-07-21 10:31:10
阅读次数：
113
mysql> select concat('Hadoop:','Hive:','Spark#','HBase;',TBL_TYPE,'{}',SD_ID) from TBLS;| Hadoop:Hive:Spark#HBase;MANAGED_TABLE{}6 || Hadoop:Hive:Spar...
分类：
数据库 时间：
2015-07-21 01:26:52
阅读次数：
213
引言上一小节《任务执行机制和Task源码浅析1》介绍了Executor的注册过程。
这一小节，我将从Executor端，就接收LaunchTask消息之后Executor的执行任务过程进行介绍。1. Executor的launchTasks函数DriverActor提交任务，发送LaunchTask指令给CoarseGrainedExecutorBackend，接收到指令之后，让它内部的execu...
分类：
其他好文 时间：
2015-07-20 23:38:59
阅读次数：
175
引言上一小节《TaskScheduler源码与任务提交原理浅析2》介绍了Driver侧将Stage进行划分，根据Executor闲置情况分发任务，最终通过DriverActor向executorActor发送任务消息。
我们要了解Executor的执行机制首先要了解Executor在Driver侧的注册过程，这篇文章先了解一下Application和Executor的注册过程。1. Task类及其...
分类：
其他好文 时间：
2015-07-20 23:38:48
阅读次数：
174
Spark Standalone模式下的Application Application是Spark中类似于Hadoop的Job的用户提交的应用。sc是Spark集群初始化时创建的SparkContext，Spark中包含Action算子和Transferer算子。有宽依赖和窄依赖。默认情况下S...
分类：
其他好文 时间：
2015-07-20 21:29:47
阅读次数：
115
王家林亲授《DT大数据梦工厂》大数据实战视频“Scala深入浅出实战经典”视频、音频和PPT下载！第59讲：Scala中隐式转换初体验实战详解以及隐式转换在Spark中的应用源码解析百度云：http://pan.baidu.com/s/1hqlKAzU腾讯微云：http://url.cn/fgaG....
分类：
其他好文 时间：
2015-07-20 15:41:21
阅读次数：
106
（一）官方入门示例废话不说，先来个示例，有个感性认识再介绍。这个示例来自spark自带的example，基本步骤如下：（1）使用以下命令输入流消息：$ nc -lk 9999（2）在一个新的终端中运行NetworkWordCount，统计上面的词语数量并输出：$ bin/run-example st...
分类：
其他好文 时间：
2015-07-20 12:25:53
阅读次数：
177
使用Scala写一个测试代码： object Test { def main(args: Array[String]): Unit = { println("hello world") } } 就把这个Test视为类，项目组织结构如： 然后设置编译选项： 然后在项目文件夹下面可以找到编译好的Jar包...
分类：
其他好文 时间：
2015-07-19 21:41:27
阅读次数：
192
Java是计算机应用程序编程语言，被广泛用于创建Web应用、服务器处理、用户端的API开发乃至数据库等多个领域。下面列出了8个有助于你开发Java应用程序最好的Java工具。 1. SparkJava 这是一款体形轻巧，功能强大的Web应用框架。Spark拥有简单而直接的方法。您可以通过一些繁琐的....
分类：
编程语言 时间：
2015-07-19 01:23:43
阅读次数：
144
