spark简介Spark（注意不要同Apache Spark混淆）的设计初衷是，可以简单容易地创建REST API或Web应用程序。它是一个灵活、简洁的框架，大小只有1MB。Spark允许用户自己选择设计应用程序的模板引擎以及选择最适合他们项目的库，比如，HTML解析功能就有Freemarker、M...
spark sql?怎样处理日期类型、时间类型 json 每个对象 不能换行 ##问题描述 json File 日期类型 怎样处理？怎样从字符型，转换为Date或DateTime类型？ json文件如下，有字符格式的日期类型 ``` { "name" : "Andy...
分类：
数据库 时间：
2015-07-17 12:17:59
阅读次数：
520
LocalWordCount中，需要首先创建SparkConf配置Master、AppName等环境参数，如果程序中没有设置，则会读取系统参数。然后，以SparkConf作为参数创建SparkContext，初始化Spark环境。 val sparkConf = new SparkConf().se...
分类：
Web程序 时间：
2015-07-17 00:03:09
阅读次数：
306
最近开始熟悉基于XMPP的IOS小编程，其中在配置服务器方面遇到了一定的小麻烦，原因就是选择了openfire+spark这种服务器配置方案，openfire在MAC OS10.10下出现了兼容的问题。 以博主自己电脑的java环境为jdk8u45为例，这里是解决方法： 1.确保自己电脑中正...
分类：
系统相关 时间：
2015-07-16 18:51:29
阅读次数：
135
引入上一篇文章《DAGScheduler源码浅析》中，介绍了handleJobSubmitted函数，它作为生成finalStage的重要函数存在，这一篇文章中，我将就DAGScheduler生成Stage过程继续学习，同时介绍Stage的相关源码。Stage生成Stage的调度是由DAGScheduler完成的。由RDD的有向无环图DAG切分出了Stage的有向无环图DAG。Stage的DAG通过...
分类：
其他好文 时间：
2015-07-15 22:46:51
阅读次数：
191
DAGSchedulerDAGScheduler的主要任务是基于Stage构建DAG，决定每个任务的最佳位置
记录哪个RDD或者Stage输出被物化
面向stage的调度层，为job生成以stage组成的DAG，提交TaskSet给TaskScheduler执行
重新提交shuffle输出丢失的stage
每一个Stage内，都是独立的tasks，他们共同执行同一个compu...
分类：
其他好文 时间：
2015-07-15 19:25:54
阅读次数：
1476
引入上一篇文章DAGScheduler源码浅析主要从提交Job的流程角度介绍了DAGScheduler源码中的重要函数和关键点，这篇DAGScheduler源码浅析2主要参考fxjwind的Spark源码分析 – DAGScheduler一文，介绍一下DAGScheduler文件中之前没有介绍的几个重要函数。事件处理在Spark 1.0版本之前，在DAGScheduler类中加入eventQueue...
分类：
其他好文 时间：
2015-07-15 19:19:35
阅读次数：
165
本文聚焦 Apache Spark 入门，了解其在大数据领域的地位，覆盖 Apache Spark 的安装及应用程序的建立，并解释一些常见的行为和操作。 一、 为什么要使用 Apache Spark 时下，我们正处在一个“大数据”的时代，每时每刻，都有各种类型的数据被生产。而在此紫外，数据...
分类：
Web程序 时间：
2015-07-15 19:07:51
阅读次数：
124
Apache Spark版本迭代速度很快，但是基本框架和经典组件保持这统一模式，所以学习Spark源码，我选择的是Apache Spark-1.0.0版本，通过分析几个主要模块的工作原理，理解Spark的运行过程。 通过LocalWordCount程序，调试Spark源码： LocalWordCou...
分类：
Web程序 时间：
2015-07-15 18:53:12
阅读次数：
139
