/** * Created by root on 9/7/15. */import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextobject S...
分类：
数据库 时间：
2015-09-09 16:22:17
阅读次数：
225
/** * Created by root on 9/7/15. */import org.apache.spark.SparkContextimport org.apache.spark.SparkConfobject RDDTest { def main(args: Array[String]....
分类：
其他好文 时间：
2015-09-09 16:22:16
阅读次数：
186
/** * Created by root on 9/8/15. */import org.apache.spark._import org.apache.spark.rdd.RDDimport org.apache.spark.streaming._import org.apache.spark....
分类：
其他好文 时间：
2015-09-09 16:09:16
阅读次数：
144
1. ?前置条件 None root account Apache Maven Java 1.7 2. 源码 ???https://github.com/apache/incubator-zeppelin ???git clone?https://github.com/apache/incubator-zeppelin 3. 编译 本地模式：mvn...
分类：
其他好文 时间：
2015-09-09 15:02:08
阅读次数：
372
Spark性能优化的10大问题及其解决方案问题1：reduce task数目不合适解决方式：需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。通常，reduce数目设置为core数目的2到3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太少，任...
分类：
其他好文 时间：
2015-09-09 13:19:06
阅读次数：
123
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、机器学习概念1.1机器学习的定义在维基百科上对机器学习提出以下几种定义：l“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。l“机器学习是对能通...
分类：
其他好文 时间：
2015-09-09 07:23:45
阅读次数：
269
今天学习了scala的多重界定T >: A :A with BA或B是T的子类T <% A <% BT同时满足能够即可以通过隐式转换转变为A的类型，也可以通过隐式转换变为B的类型。T : A : BT必须同时满足存在A[T]这种类型的隐式值和B[T]类型的隐式值。分享下更多的scala资源吧：百度云...
分类：
其他好文 时间：
2015-09-08 21:56:26
阅读次数：
145
今天学习了下scala中的链式调用风格的实现，在spark编程中，我们经常会看到如下一段代码：sc.textFile("hdfs://......").flatMap(_.split(" ")).map(_,1).reduceByKey(_ + _)........这种风格的编程方法叫做链式调用，它...
分类：
其他好文 时间：
2015-09-08 21:55:50
阅读次数：
142
standalone模式下的框架图如下：
异常分析1： worker异常退出
worker异常退出，比如说有意识的通过kill指令将worker杀死worker在退出之前，会将自己所管控的所有小弟executor全干掉worker需要定期向master改善心跳消息的，现在worker进程都已经玩完了，哪有心跳消息，所以Master会在超时处理中意识到有一...
分类：
其他好文 时间：
2015-09-08 20:17:43
阅读次数：
187
