在地球上什么是Monoid?？ 定义： monoid(幺半群 译注：参考附注1翻译，下文中继续使用英文名)是一个带有二元运算(+）和一个单位元（译注：原文为identity element)i使得对于任意x，x+i=i+x=x。注意它不像群(译注：...
分类：
其他好文 时间：
2015-07-18 22:51:49
阅读次数：
152
引言上一节《Stage生成和Stage源码浅析》中，我介绍了Stage生成划分到提交Stage的过程，分析最终归结到submitStage的递归提交Stage，其中要通过submitMissingTasks函数创建task集合来实现任务的创建和分发。
在接下来的几篇文章中，我将具体介绍一下任务创建和分发的过程，为了让逻辑更加清楚，我将分成几篇文章进行介绍，好保证简明清晰，逻辑连贯，前后统一。Tas...
分类：
其他好文 时间：
2015-07-18 22:50:59
阅读次数：
208
引言上一节《TaskScheduler源码与任务提交原理浅析1》介绍了TaskScheduler的创建过程，在这一节中，我将承接《Stage生成和Stage源码浅析》中的submitMissingTasks函数继续介绍task的创建和分发工作。DAGScheduler中的submitMissingTasks函数如果一个Stage的所有的parent stage都已经计算完成或者存在于cache中，那...
分类：
其他好文 时间：
2015-07-18 22:49:09
阅读次数：
140
因为Spark与Hadoop是关联的，所以在安装Spark前应该根据已安装的Hadoop版本来选择待安装的Sqark版本，要不然就会报“Server IPC version X cannot communicate with client version Y”的错误。 我安装的Hadoop版本为Ha...
分类：
其他好文 时间：
2015-07-18 21:20:09
阅读次数：
188
Spark standalone安装-最小化集群部署（Spark官方建议使用Standalone模式） 集群规划： 主机 IP 软件 进程 sc1 192.168.1.61 spark Master、Worker sc2 192.168.1.62 spark Worker sc...
分类：
其他好文 时间：
2015-07-18 15:25:20
阅读次数：
207
机器环境Ubuntu 14.10 64位 || OpenJDK-7 || Scala-2.10.4机群概况Hadoop-2.6.0 || HBase-1.0.0 || Spark-1.2.0 || Zookeeper-3.4.6 || hue-3.8.1Hue简介（摘自网络）：ue是一个开源的Apa...
分类：
其他好文 时间：
2015-07-18 12:23:16
阅读次数：
550
“War of the Hadoop SQL engines. And the winner is …?” 这是一个非常好的问题。只要。无论答案是什么。我们都值花一点时间找出 Spark SQL 这个 Spark 里面的家庭成员。 原本Apache Spark SQL 官网上的代码片断(Spark官...
分类：
数据库 时间：
2015-07-18 10:58:12
阅读次数：
197
我的Spark机群是部署在Yarn上的，因为之前Yarn的部署只是简单的完全分布式，但是后来升级到HA模式，一个主NN，一个备NN，那么Spark HistoryServer的配置也需要相应的做修改，因为不做修改会报错Exception in thread "main" java.lang.refl...
分类：
其他好文 时间：
2015-07-18 10:44:42
阅读次数：
402
安装环境：虚拟机：VMware® Workstation 8.0.1（网络桥接）OS：CentOS 7JDK版本：jdk-7u79-linux-x64.tarScala版本：scala-2.11.7Spark版本：spark-1.4.0-bin-hadoop2.4用户：hadoop安装Centos时...
分类：
其他好文 时间：
2015-07-17 22:17:36
阅读次数：
201
在测试spark计算时，将作业提交到yarn（模式–master yarn-cluster）上，想查看print到控制台这是imposible的，因为作业是提交到yarn的集群上，so 去yarn集群上看日志是很麻烦的，但有特别想看下print的信息，方便调试或者别的目的 在Spark的conf目录下，把log4j.properties.template修改为log4j.properties，原来的...
分类：
其他好文 时间：
2015-07-17 18:55:50
阅读次数：
159
